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Introducción 


Nuestra migración voluntaria a entornos digitales para desa- 
rrollar cualquier tipo de actividad, desde lo laboral a lo más 
íntimo y personal, es un proceso diario tan normalizado que 
rara vez nos paramos a pensar en las implicaciones sociales —y 
en las preguntas morales— que la digitalización conlleva."Todos 
tenemos móviles inteligentes y, sin embargo, muy pocos cono- 
cemos sus tecnologías habilitadoras: el big data y la inteligencia 
artificial (en adelante IA). Confiamos en las tecnologías digita- 
les a pesar de no conocerlas o entenderlas, y aun así experi- 
mentamos cada día las consecuencias de los cambios sociales y 
económicos que la IA basada en el big data está produciendo. 
Estos cambios plantean cuestiones morales cuyas consecuen- 
cias políticas y económicas generan un amplio debate sobre los 
principios éticos a seguir en el desarrollo de la IA. 

Las controversias alrededor de la ética de la IA aparecen 
a diario. Por un lado, de las aplicaciones de IA dependen algu- 
nas de nuestras oportunidades en la sociedad: tanto de encon- 
trar trabajo como de encontrar pareja. Nuestra reputación se 
mide por nuestra popularidad en las redes sociales. Nos preo- 
cupa la IA y el quedarnos obsoletos en un mundo diseñado por 
ingenieros informáticos y programadores, así como el efecto de 


la desinformación sobre la capacidad de las democracias occi- 
dentales de perdurar y de no convertirse en regímenes autorl- 
tarios. También, la soberanía de nuestras naciones al haber in- 
fravalorado y no invertido en tener la capacidad de construir 
nuestros propios chips y microprocesadores o —en algún fu- 
turo no demasiado lejano— nuestros ordenadores cuánticos. 
Mirando más allá de la experiencia de las actuales generaciones 
que se formaron en la época analógica, como sociedad crece la 
preocupación por las consecuencias de la digitalización sobre 
las nuevas generaciones, es decir, sobre su bienestar y su capa- 
cidad de aprender, expresarse, amar y sentirse amadas. 

La preocupación por la ética de la IA crece también entre 
científicos y profesionales que contribuyen activamente a la 
vanguardia de esta tecnología. Varios estudios ponen de mani- 
fiesto el papel de la IA en la automatización de la injusticia y en 
la perpetuación de dinámicas muy antiguas de discriminación 
y segregación social; nuevas formas de discriminación de géne- 
ro o de raza aparecen bajo la etiqueta de “sesgos algorítmicos”. 
Las respuestas para este clima de preocupación incluyen códi- 
gos de conducta elaborados por comités de ética en las empre- 
sas u otros mecanismos de autorregulación. Crece la demanda 
de transparencia. Así, se pide abrir la caja negra de la IA para 
que aumente nuestra comprensión del uso que se les da a nues- 
tros datos y de las consecuencias reales de las decisiones auto- 
matizadas. Crece también la demanda de regulación que limi- 
te, a través de mecanismo de competencias, el poder de las 
empresas tecnológicas al mando del oligopolio digital. 

Este libro! presenta distintas controversias que han ido 
emergiendo, y cobrando cada vez más relevancia, alrededor 


1. Este libro es parte de las actividades de divulgación del proyecto “Ingeniería de 
valores en sistemas de IA —- VAE” (TED2021-131295B-C31-1) financiado por 
MCIN/AEI /10.13039/501100011033 y por la Unión Europea NextGenera- 
tionEU/PRTR. 

Los contenidos de esta publicación y las opiniones expresadas son exclusiva- 
mente las de la autora y este documento no debe considerarse que representa 
una posición oficial del CSIC o Catarata ni que compromete a ambos en ningu- 
na responsabilidad de cualquier tipo. 
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de las implicaciones sociales y de los retos morales de la IA. 
Mientras que otros volúmenes? de esta colección hablan de 
aspectos específicos de estas tecnologías, este ensayo se cen- 
tra en el impacto social y en los retos morales de la digitaliza- 
ción y de la economía basada en los datos. 

La obra* permite reflexionar sobre esa confianza que te- 
nemos en la IA y en las personas que están detrás de dicha 
tecnología. En el primer capítulo se definirá la IA y se contará 
brevemente su historia. En el segundo, hablaremos de los ro- 
bots como expresión material de la IA. El tercer capítulo ex- 
plica un tema central del debate sobre la IA: su fiabilidad y los 
riesgos y perjuicios que su uso puede generar para los indivi- 
duos y la sociedad en su conjunto. Hablaremos de la relación 
entre bienestar y digitalización, intentando definir unas pau- 
tas básicas de comportamiento que nos pueden ayudar a pro- 
teger a nuestros seres queridos y a nosotros mismos de los 
riesgos de manipulación y engaño presentes en la red. En el 
cuarto capítulo hablaremos de los principios éticos que se es- 
tán intentando adoptar en Europa para desarrollar una IA fia- 
ble. Finalmente, en el quinto capítulo se reflexiona sobre las 
soluciones que se están proponiendo tanto a nivel legal como 
técnico para promover el buen desarrollo de estas tecnologías y 
de las opciones que tenemos o que podríamos imaginar tanto 
como ciudadanos como profesionales y educadores, en cómo 
nuestras decisiones pueden influir en el desarrollo de la IA y 
del big data. 


2. Véase, en esta misma colección, López de Mántaras y Meseguer (2017); Ríos 
y Gómez-Ullate (2019); Arroyo, Gayoso y Hernández (2020); Rios y Naveiro 
(2022); García Armada (2022); Cobo y Lloret (2023). 

3. Este libro no hubiera existido sin la paciencia y el cariño de Carmen Guerrero 
y Arantza Chivite. Quiero además agradecer sinceramente a Amalio Blanco, Jon 
Rueda y Daniel López Castro sus comentarios y sugerencias. 
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CAPÍTULO 1 
¿Qué es la lA? 


La inteligencia artificial representa un conjunto de ciencias 
(incluyendo la lógica matemática, la estadística, las probabili- 
dades, la neurobiología computacional, la informática) que 
pretende imitar las capacidades cognitivas del ser humano. 
Este conjunto de teorías y técnicas se basa en la suposición de 
que todas las funciones cognitivas (el aprendizaje, el razona- 
miento, el cálculo, la percepción, la memorización e incluso el 
descubrimiento científico o la creatividad artística) pueden 
describirse con una precisión tal que sería posible programar 
un ordenador para reproducirlas. 

Como vocablo y como disciplina se suele contar que la 
IA nació oficialmente durante un curso de verano organizado 
por cuatro investigadores estadounidenses* en 1956 en el 
Dartmouth College, en Hanover (Estados Unidos). Sin em- 
bargo, muchos historiadores consideran el libro Cibernética 
de NorbertWiener (1948) el punto de partida de la disciplina 
(Nilsson, 2009) hasta que se produjo una división entre la 
cibernética y la IA sobre cuestiones relacionadas con los 
“sistemas simbólicos” y el papel de la psicología frente a la 
neurofisiología. Cada vez se trazaban más fronteras entre el 


4. John McCarthy, Marvin Minsky, Nathaniel Rochester y Claude Shannon. 


13 


modelado del cerebro y lo que se conoció como IA simbóli- 
ca hasta el renacimiento de las redes neurales en la década 
de 1980 (Kline, 2010). Los investigadores al principio 
creían que la construcción de una inteligencia de nivel hu- 
mano llevaría unos pocos años, un par de décadas como 
máximo. Ese optimismo inicial se desvaneció en la década 
de 1970 dando paso a los llamados “inviernos de IA”, a los 
que siguieron nuevos momentos de esplendor. Podemos 
afirmar que desde hace más de medio siglo la TA sigue gene- 
rando expectativas. 


¿Piensan las máquinas? 


Charles Babbage (1791-1871) trabajó hasta su muerte en el 
desarrollo de una “máquina analítica”. En 1843, Ada Love- 
lace en sus “Notas” a la traducción de un artículo del ingeniero 
italiano Luigi Menabrea explicaba que la “máquina analítica” 
de Babbage, si se construía, sería un ordenador programable 
y no una simple calculadora. Tomaría datos de tarjetas perfo- 
radas y produciría resultados novedosos ejecutando diversas 
Operaciones mecánicas paso a paso (Swetz, 2019)”. 

Ideas similares a las de Babbage se discutían también en 
España. En los Ensayos sobre Automática de Leonardo Torres 
y Quevedo (1914) se presenta el primer modelo de autómata 
que “ejecuta una por una todas las operaciones indicadas en 
la fórmula que se trata de calcular”, que procede “en todo 
como un ser inteligente que sigue ciertas reglas”, y, sobre to- 
do, “en el momento en que hay que escoger un camino en 
cada caso particular” (González Redondo, 2019). 

Por su parte, la patente estadounidense número 613 809 
de Tesla describe el primer dispositivo de control remoto ina- 
lámbrico (Swezey, 1958). El modelo en funcionamiento o 


5. Por su contribución a la obra de Babbage, Ada Lovelace ha sido considerada 
la primera mujer programadora de la historia. 
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“teleautómata” respondía a señales de radio y se alimentaba 
con una batería interna. En 1898, Nikola Tesla hizo una de- 
mostración de la primera embarcación de control por radio 
del mundo. Tesla no limitó su método a las embarcaciones, 
sino que generalizó el potencial del invento para incluir ve- 
hículos de cualquier tipo y mecanismos que se accionan con 
cualquier fin. Imaginó un operador o varios operadores diri- 
giendo simultáneamente 50 o 100 embarcaciones o máquinas 
a través de transmisores y receptores de radio sintonizados de 
forma diferente. Por desgracia, el invento estaba tan adelanta- 
do a su tiempo que quienes lo observaron no podían imaginar 
sus aplicaciones prácticas. 

En 1942, John Vincent Atanasoff y su ayudante Clifford 
Berry crearon el ordenador Atanasoff-Berry (ABC) que pe- 
saba unos 320 kg y podía resolver hasta 29 ecuaciones linea- 
les simultáneas. En 1949, Edmund Berkeley —cofundador de 
la Association for Computing Machinery (ACM)— publica 
Giant Brains: Or Machines That Think (Cerebros gigantes o 
máquinas que piensan), en el que escribe: “Recientemente ha 
habido muchas noticias sobre extrañas máquinas gigantes 
que pueden manejar información con gran velocidad y habi- 
lidad [...] Estas máquinas son similares a lo que sería un ce- 
rebro si estuviera hecho de hardware y cables en lugar de car- 
ne y nervios [...] Una máquina puede manejar información; 
puede calcular, concluir y elegir; puede realizar operaciones 
razonables con información. Una máquina, por tanto, puede 
pensar”. 

¿De verdad podríamos decir que una máquina pueda 
pensar? ¿Basta con saber calcular para pensar? ¿Basta con 
pensar para tener conciencia? Y podríamos continuar con una 
larga disquisición sobre aquello que define al ser humano. 
Estas reflexiones nos llevan a pensar en el carácter fenoméni- 
co de la experiencia: es decir, en percepciones, en sensacio- 
nes corporales, en los estados de ánimo y las emociones sen- 
tidas. 
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El término qualia (Kind, 2021) fue introducido en la lite- 
ratura filosófica (en su sentido contemporáneo) por Clarence 
Irving Lewis (1929) en una discusión sobre la teoría de los 
datos sensoriales para definir esa experiencia perceptiva que 
nos plantea el duro problema de la conciencia —también llama- 
do laguna explicativa—, pues la imposibilidad de resolver el 
misterio de qué es lo que hay en el cerebro da cuenta de nues- 
tra experiencia sensorial del mismo. Un problema, el de la 
conciencia, que ni la neurociencia ni la filosofía han sido aún 
capaces de resolver. 

Sin embargo, según el exempleado de Google, Blake 
Lemoine, el generador de chatbot LaMDA (Language Model 
for Dialogue Applications, modelo de lenguaje para aplica- 
ciones de diálogo) tiene conciencia propia —o, por lo me- 
nos, al interaccionar con él lo parece— (De Cosmo, 2022), 
y eso se debe a que el modelo responde a preguntas sobre 
temas que van desde la física hasta la filosofía. Los altos 
cargos de Google no comparten esas opiniones (Tiku, 2022) 
y por el momento nadie más en la empresa ha querido ha- 
blar de un tema que recuerda mucho a las películas de cien- 
cia ficción. 

Terminator, Robocop, Her, los replicantes de Blade 
Runner o Project 2501 en Ghost in the Shell son todas IA ge- 
nerales (o AGI) más o menos intangibles o robóticas. Gracias 
a las películas y a los libros de ciencia ficción estamos bastan- 
te familiarizados con AGI —la IA de una máquina que podría 
realizar con éxito cualquier tarea intelectual que pueda reali- 
zar un ser humano—. AGI se diferencia de ANI, es decir, de 
la IA específica o débil (artificial narrow intelligence). ANI es la 
TA programada para realizar una única tarea (ya sea compro- 
bar el tiempo, ser capaz de jugar al ajedrez o analizar datos 
brutos para redactar artículos periodísticos). AGÍ en el mun- 
do de la ficción respeta las tres leyes de la robótica de Isaac 
Asimov, diseñadas para evitar que los robots dañen a los hu- 
manos: 
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1. Un robot no hará daño a un ser humano o, por inacción, 
permitirá que un ser humano sufra daño. 

2. Un robot debe cumplir las órdenes dadas por los seres hu- 
manos, a excepción de aquellas que entrasen en conflicto 
con la primera ley. 

3. Un robot debe proteger su propia existencia en la medida 
en que esta protección no entre en conflicto con la primera 
o con la segunda ley. 


Por su parte, ANTI en el mundo de Meta Platforms 
(Facebook) en el que vivimos no tiene claro aún su código de 
conducta. Sin embargo, hoy en día muchos casos de éxito 
de aplicaciones de Al son ANTI. 

Entonces, ¿es LaMDA una AGT? Y si lo es, ¿tiene con- 
ciencia? Un experimento filosófico realizado por el académi- 
co John Searle en 1980 y llamado “la habitación china” nos 
ayuda a entender por qué creemos que Blake Lemoine se 
equivoca al decir que LaMDA es consciente. El experimento 
filosófico de Searle propone imaginar a un hombre sin cono- 
cimientos de chino dentro de una habitación al que se le in- 
troducen frases en chino por debajo de la puerta. El hombre 
manipula las frases de forma puramente simbólica (o, mejor 
dicho, sintáctica) según un manual de instrucciones que in- 
cluye un conjunto de reglas. Coloca respuestas que engañan 
a los de fuera haciéndoles creer que hay un hablante de chino 
dentro de la habitación. El experimento mental demuestra 
que la mera manipulación de símbolos no se puede conside- 
rar una forma de real comprensión. Sin embargo, la sofistica- 
ción a la que ha llegado el chatbot es tan elevada que pode- 
mos decir que pasaría cualquier test de Turing, es decir, que 
sería capaz de engañar a un humano haciéndose pasar por 
otro ser humano. Lo que lleva a la siguiente pregunta: ¿podría 
LaMDA actuar de forma intencional? 

Autores como Nick Bostrom sostienen que los agentes 
artificiales inteligentes son capaces de razonar de forma 


17 


instrumental. Si asumimos, como hace él, que el razonamien- 
to instrumental es sinónimo de inteligencia y afirmamos que 
la inteligencia es independiente de la motivación, podríamos 
afirmar como Bostrom que tanto AGÍ como ANI podrían 
perseguir objetivos propios, es decir, no compartidos por los 
seres humanos (como, por ejemplo, contar los granos de are- 
na en una playa). 

La IA podría perseguir varios valores instrumentales 
convergentes para una amplia gama de objetivos finales y una 
amplia gama de situaciones. Esto implicaría que estos valores 
instrumentales sean perseguidos por muchos agentes inteli- 
gentes para poder alcanzar un objetivo final de más alto nivel, 
que podría no tener sentido para una mente humana y, sin 
embargo, ser totalmente racional para una mente sintética. 
Esta situación generaría lo que, según el profesor de ciencia 
de la computación en la universidad de Berkeley Stuart Russell 
(2021), se denomina el “problema del control” o, mejor di- 
cho, el problema de la falta de control del ser humano sobre 
las máquinas inteligentes. 

Según Bostrom, si el desarrollo tecnológico continúa, en 
algún momento se alcanzará un conjunto de capacidades que 
harán que la devastación de la civilización sea extremada- 
mente probable, a menos que la civilización no salga de la 
condición de semianarquía en la que vive por defecto. Sugiere 
también que para prevenir la devastación de la civilización se 
podría intentar impedir que se difunda la información peli- 
grosa; restringir el acceso a los materiales, instrumentos e in- 
fraestructuras necesarios; disuadir a los posibles delincuentes 
aumentando las probabilidades de que los descubran; ser más 
precavidos y hacer más trabajo de evaluación de riesgos, O 
establecer algún tipo de mecanismo de vigilancia y aplicación 
que permita interceptar los intentos de llevar a cabo un acto 
destructivo (Bostrom, 2019). 

¿Representa entonces la IA un riesgo existencial para la 
humanidad? ¿Son fundadas las preocupaciones de Bostrom? 
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Evidentemente, es difícil saber si un riesgo lo es hasta que no 
se materializa de alguna forma. De momento, las únicas 
muertes documentadas causadas por IA derivan de los acci- 
dentes de coches autónomosf. Podemos suponer la existencia 
en zonas de guerra de víctimas de sistemas de armas autóno- 
mas letales (LAWS, Lethal Autonomous Weapon Systems), 
también llamadas robots asesinos (slaughterbots). Varias orga- 
nizaciones internacionales, entre ellas Cruz Roja, han intenta- 
do promover el debate” para restringir el uso de estos siste- 
mas. Desafortunadamente, de momento no han tenido éxito 
principalmente por la oposición de Rusia y Estados Unidos a 
que se prohíba el desarrollo y uso de LAWS. 

Evidentemente, podemos recurrir a nuestra capacidad 
de inferir lo que no sabemos a partir de lo que sí sabemos. Por 
ejemplo, que las sociedades humanas tienen una fuerte ten- 
dencia a resolver disputas a través de conflictos armados des- 
tructivos. Un análisis del catálogo de conflictos* elaborado 
por el doctor Peter Brecke del Georgia Institute of Technology 
indica que en los tiempos modernos las guerras son menos 
frecuentes, pero más destructivas (Martelloni, Di Patti y 
Bardi, 2018). Sin embargo, Steven Pinker (2011) sostiene 
que los cinco “demonios interiores” detrás de nuestra dispo- 
sición a la violencia (depredación, dominación, venganza, sa- 
dismo e ideología) han disminuido a lo largo de los siglos a 
favor de cuatro “ángeles bondadosos” o capacidades que nos 
permiten “refrenar nuestros impulsos más oscuros” (empa- 
tía, autocontrol, pensamiento moral y razón), promoviendo el 
progreso humano. 

A pesar de que el número de guerras ha disminuido a nivel 
mundial, siendo el siglo XVIII (el Siglo de las Luces) el perio- 
do más evidente de paz y prosperidad, el aumento del poder 


6. La muerte de Elaine Herzberg de 50 años fue el primer caso registrado de un 
peatón fallecido tras una colisión con un coche autónomo de Uber en Arizona, 
ocurrida el 18 de marzo de 2018. 

7. Véase “Slaughterbots are here”, en https://autonomousweapons.org/. 

8. Véase https://brecke.inta.gatech.edu/research/conflict/. 
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destructivo de las guerras modernas es innegable: una guerra 
nuclear podría destruir la vida en la Tierra por completo. Entre 
las tecnologías contemporáneas, la IA juega un papel impor- 
tante en los equilibrios de poder entre los Estados nacionales. 
La invasión rusa de Ucrania y la tensa relación entre Estados 
Unidos y China sobre "Iaiwán devuelven a la actualidad el 
debate y la necesidad de establecer mecanismos de coopera- 
ción diplomática y de control económico eficaces para preve- 
nir la intensificación de los conflictos armados. 


La lA entre guerras 


Retomamos nuestro relato sobre la historia de la IA con Alan 
Turing? y el papel que jugó durante la Segunda Guerra 
Mundial un grupo de investigación liderado por él en Bletchley 
Park (Inglaterra). El principal objetivo del trabajo de Turing a 
partir de 1939 fue descifrar el código Enigma utilizado por las 
fuerzas armadas alemanas para enviar mensajes de forma en- 
criptada. Turing y su grupo fueron capaces de descifrar Enigma 
gracias a la invención de una máquina electrónico-mecánica 
conocida como la “bomba” de Turing (figura 1). 

Los ordenadores digitales comparten el esquema básico 
de esta máquinaa!” un dispositivo de input/output o entrada/ 
salida (cinta y lector), una unidad central de procesamiento 
(mecanismo de control) y una memoria (la unidad de alma- 
cenamiento del mecanismo de control) (Turing, 1937). Los 
ordenadores modernos son, en esencia, máquinas de Turing 
universales. A pesar de que Enigma había sido descifrado gra- 
cias a la colaboración de un equipo de ordenadores humanos e 


9. La película Descifrando Enigma (2014) ofrece una reconstrucción de la vida de 
Turing. 

10. En 1936, el matemático inglés Alan Turing propuso una herramienta matemá- 
tica que podía reconocer aquellos enunciados matemáticos que, dentro de un 
determinado sistema formal de axiomas, no pueden demostrarse como verdade- 
ros O falsos según los teoremas de incompletitud de Gódel. 
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informáticos, el antagonismo entre inteligencia artificial y hu- 
mana iba a ser un motivo recurrente en el desarrollo de estas 
tecnologías. El término inteligencia artificial, acuñado por John 
McCarthy en 1955, contribuyó a aumentar las expectativas, 
fijando explícitamente el objetivo en una inteligencia artificial 
con capacidades similares a la humana. 


FiGuraA 1 


Bomba de Turing usada para descifrar 
el código Enigma. 
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Fuente: WiximeDia COMMONS. 


La rivalidad humanos-máquinas y el creciente interés en 
la resolución de problemas en la investigación en IA encontra- 
ron en el ajedrez el campo de batalla ideal. Ya en 1914, el inge- 
niero español LeonardoTorres y Quevedo había demostrado la 
viabilidad de construir la primera máquina de ajedrez, capaz 
de realizar finales de rey y torre contra rey sin intervención 
humana. En 1950, Claude Shannon'' publicó el primer artícu- 
lo sobre el desarrollo de un programa informático para jugar al 
ajedrez. En 1997, la IA ganó por fin la competición con los 


11. Claude Elwood Shannon (1916-2001) era ingeniero de los laboratorios Bell 
en los que la informática ha sido una rama del Departamento de Matemáticas 
desde su creación en 1916. 
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humanos cuando el campeón mundial de ajedrez Garry 
Kasparov fue derrotado por Deep Blue de IBM. Y en 2016, el 
programa AlphaGo de Google se enfrentaba a Lee Se-dol en 
Seúl y ganaba el partido de Go*? por 3 a 0. 

Claude Shannon no ayudó solamente a que la IA supiera 
jugar al ajedrez, sino que fue el primero en reconocer que el 
álgebra de George Boole'* podría utilizarse en los circuitos de 
relés de los conmutadores telefónicos para transmitir infor- 
mación abriendo el camino para su uso en todos los circuitos 
digitales. Gracias a su teoría matemática de la comunicación, 
la información se convertía en una unidad cuantificable que 
no necesita tener en cuenta el contenido del mensaje para ser 
transmitida. Los elementos básicos del modelo de Shannon 
(una fuente, un transmisor, un canal, un receptor, un destino 
y la posibilidad de que haya ruido) siguen siendo los mismos 
en todos los sistemas de comunicación, entre ellos internet. 

En 1956, científicos geniales como Alan Turing, Norbert 
Wiener, Claude Shannon o Warren McCullough trabajaban de 
forma independiente en cibernética, matemáticas, algoritmos y 
teorías de redes. Fue el informático y científico cognitivo John 
McCarthy quien tuvo la idea de unir dichos esfuerzos de inves- 
tigación en un solo campo: la inteligencia artificial. No sola- 
mente McCarthy acuñó el término, sino que también fundó 
laboratorios de IA en el MIT y en Stanford. Los historiadores 
de la IA han hablado a menudo de “ascenso y caída” para des- 
cribir el auge del paradigma de la IA en los años cincuenta- 
sesenta y su aparente desaparición en las dos décadas siguien- 
tes (Agar, 2020). Sus veranos se caracterizaron por el optimismo 
y las inversiones, mientras que durante los ¿inviernos se enfren- 
taron a recortes de financiación, incredulidad y pesimismo. 


12. Go es un juego de dos jugadores que se turnan para colocar piedras negras o 
blancas en una cuadrícula de 19 por 19. Gana quien tenga el control de la mayor 
cantidad de territorio en el tablero, lo que se logra al rodear las piezas de su opo- 
nente con las suyas. 

13. En 1854, Boole argumentó que el razonamiento lógico puede realizarse sis- 
temáticamente de la misma manera que la resolución de un sistema de ecua- 
ciones. 
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Los 17 años siguientes de la Conferencia de Dartmouth 
(1956) hubo increíbles avances gracias a proyectos de inves- 
tigación llevados a cabo en el MIT, las universidades de 
Edimburgo, Stanford y Carnegie Mellon, y la financiación ma- 
siva que recibieron. La Agencia de Proyectos de Investigación 
Avanzada de Defensa de Estados Unidos (DARPA) invirtió 
millones de dólares en la investigación de la IA sin presionar 
a los investigadores para que obtuvieron resultados concre- 
tos. En 1951, Marvin Minsky y Dean Edmunds construyen 
el SNARC (Stochastic Neural Analog Reinforcement Cal- 
culator), la primera red neuronal artificial, utilizando 3000 tu- 
bos de vacío para simular una red de 40 neuronas. Las redes 
neuronales eran programas de IA inspirados en la estructura 
del cerebro, con muchas neuronas artificiales elementales con 
alta conectividad que implementan una función no lineal. La 
idea vino de un artículo escrito por Warren S. McCulloch y 
Walter Pitts en 1943, en el que los autores hablaban de redes 
de “neuronas” artificiales idealizadas y simplificadas, y de có- 
mo estas podrían realizar funciones lógicas sencillas. 

Los ordenadores empezaron a resolver problemas alge- 
braicos, a demostrar teoremas geométricos y a utilizar la sintaxis 
y la gramática inglesas. Alentados por estos impresionantes pri- 
meros resultados, los investigadores estaban esperanzados en 
que para 1985 serían capaces de construir la primera máquina 
verdaderamente pensante, capaz de realizar cualquier trabajo 
que un hombre pudiera hacer. El problema era que los ordena- 
dores no podían seguir técnicamente el ritmo de la complejidad 
de los problemas planteados por los investigadores; cuanto más 
complicado era el problema, mayor era la potencia de cálculo 
que requería. Por ejemplo, un sistema de IA que analizaba la 
lengua inglesa en aquel entonces solo podía manejar un vocabu- 
lario de 20 palabras, porque ese era el máximo de datos que 
podía almacenar la memoria del ordenador. 

Los problemas técnicos y la falta de resultados visibles 
trajeron desilusión y recortes en la financiación. Por ejemplo, 
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la Enmienda Mansfield de 1969 exigía a DARPA que solo se 
financiara investigación directamente orientada a misiones 
concretas; es decir, que los investigadores solo recibirían finan- 
ciación si sus resultados podían producir tecnología militar útil, 
como tanques autónomos o sistemas de gestión de batallas. 
A principios de la década de 1970, la publicación del 
informe del Comité Asesor del Procesamiento Automático 
del Lenguaje (ALPAC), elaborado por el Gobierno de Es- 
tados Unidos en 1966, y el informe escrito por el profesor 
James Lighthill en Reino Unido y titulado Artificial Intelligence: 
A General Survey!* sobre el desfase entre los resultados reales 
de la investigación en IA y las alocadas visiones de las máqui- 
nas pensantes dio lugar al “invierno de la IA”, que dañó la 
credibilidad de los entusiastas de la IA y provocó una pérdida 
general de financiación. Cayó entonces el silencio sobre la IA 
hasta que, en los años ochenta, el interés se renovó, especial- 
mente debido a la popularidad de los sistemas expertos. 


Desde los sistemas expertos hasta el big data 


El segundo verano de la IA coincide con la democratización 
de la informática mediante la difusión de los ordenadores de 
mesa. En 1984, Apple gastó un millón de dólares en un anuncio 
de 60 segundos que se estrenó en la Super Bowl. El vídeo, diri- 
gido por Ridley Scott, terminaba con el famoso eslogan: “El 24 
de enero, Apple Computer presentará Macintosh. Y verás por 
qué 1984 no será como 1984”**, El Macintosh 512 KB, apoda- 
do Fat Mac, se presentó en septiembre de ese año y en solo cien 
días Apple vendió más de 72 000. El Fat Mac ofrecía a los 
usuarios cuatro veces más memoria y les permitía mantener 
abiertos simultáneamente varios programas. En 1987, Apple 


14. Disponible en https://bitly.ws/VIEK. 
15. 1984 es el título de la novela distópica escrita por George Orwell y publicada 
en 1949. 
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e IBM construían ordenadores de sobremesa mucho más po- 
tentes y baratos que las computadoras desarrolladas para tra- 
bajar en lenguaje de programación Lisp. 

Mientras tanto, a nivel empresarial empezaban a difun- 
dirse los sistemas expertos, es decir, programas de IA que 
trataban de imitar el razonamiento de un experto humano en 
un ámbito concreto. En otras palabras, un sistema experto es 
un programa informático que, tras haber sido debidamente 
instruido por un profesional, es capaz de deducir informa- 
ción a partir de un conjunto de datos e información de parti- 
da. El programa informático Dendral, desarrollado en 1965, 
se considera el primer sistema experto porque automatizó el 
proceso de toma de decisiones y resolución de problemas de 
los químicos orgánicos en la Universidad de Stanford. En 
1982, el sistema experto XCON, desarrollado por el profesor 
John McDermott para la Digital Equipment Corporation 
(DEC), permitía organizar los pedidos de ordenadores to- 
mando en cuenta todas las combinaciones de opciones de 
configuración ofertadas por la empresa. Se dice que XCON 
hizo ganar a DEC unos 40 millones de dólares al año. 

Desafortunadamente, la dificultad de redactar normas 
que reflejaran los conocimientos de los expertos y los proble- 
mas de mantenimiento de estos sistemas hicieron que los sis- 
temas expertos llegaran a su fin. Además, en 1987 DARPA 
dejó de financiar la investigación en IA. 

Empezaba entonces, a mediados de los años ochenta, otra 
época que durará hasta hoy: la de internet. En agosto de 1962, 
el doctor Joseph Carl Robnett Licklider, del MIT, expuso en 
sus notas su idea de una “red informática intergaláctica”: un 
conjunto de ordenadores interconectados a escala mundial 
a través del cual todo el mundo podría acceder rápidamente a 
datos y programas desde cualquier lugar. Como director de la 
Agencia de Proyectos de Investigación Avanzada (ARPA) del 
Departamento de Defensa de EE UU, Licklider fue uno de los 
promotores en 1969 de ARPAnet —la primera red informática 
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pública de conmutación de paquetes—. En 1972, la red ya es- 
taba operativa con 40 puntos conectados en diferentes locali- 
zaciones (Leiner et al., 1997). En octubre de 1980, ARPAnet 
sufrió una interrupción de servicio de cuatro horas que se con- 
sidera el primer ejemplo de denegación de servicios (DDoS en 
inglés). Cuando en 1982 adoptó el protocolo "TCP/TP, se creó 
internet (International Net). Fue desmantelado en 1990. 


Desde internet y el big data hasta el más allá 


En menos de 30 años, Internet ha cambiado la forma de vivir 
de muchas personas, llegando a la mayoría de los hogares en 
los países desarrollados. En diciembre de 1995, internet tenía 
16 millones de usuarios; en diciembre de 2022, 5544 millo- 
nes. En España, en 2010, solo la mitad de los hogares tenía 
internet; 12 años después, en 2022, la banda ancha llegaba 
casi a la totalidad de las casas. Según el INE**, en 2020 en 
España el 95% de los hogares tenían conexión de banda an- 
cha y subía un 6,9% respecto a 2019 el número de personas 
que compraban online (53,8%), año en el que el 87% de las 
mujeres españolas entre 16 y 74 años declaraba usar el móvil 
para navegar por internet (EUROSTAT, 2021). 

La rápida adopción de internet durante los años noventa 
llevó a que estallara la burbuja dotcom a finales de esa década. 
De aquellas cenizas se levantaron los que hoy conocemos co- 
mo los gigantes tecnológicos: Alphabet (Google), Amazon, 
Facebook y Apple (GAFA). Google se fundó el 4 de septiembre 
de 1998 por los informáticos Larry Page y Sergey Brin cuando 
eran estudiantes de doctorado en la Universidad de Stanford. El 
nombre Google proviene de gúgol, es decir, 10 elevado a 100 o 
1 seguido de 100 ceros. En mayo de 2023, Alphabet!” tenía una 


16. “Equipamiento y uso de TIC en los hogares - Año 2020”, en https://bitly.ws/ 
VIRB. 
17. Google representa más del 99% de los ingresos anuales totales de Alphabet. 
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cotización de 1340 miles de millones de dólares, ocupando el 
cuarto puesto detrás de Saudi Aramco, Microsoft y Apple, y de- 
lante de Amazon, NVIDIA, Meta y Tesla. 


FIGURA 2 
Hogares con acceso a internet en España entre 2010 y 2021. 
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Fuente: ELABORACIÓN PROPIA A PARTIR DE DATOS DE EUROSTAT. 


FiGuRA 3 
Mayores empresas del mundo por valor de mercado en 2023. 
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FuenTE: ELABORACIÓN PROPIA A PARTIR DE DATOS DE FORBES, 5 DE MAYO DE 2023, En STATISTA. 
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El mundo de la IA que conocemos hoy se basa en una 
simple constatación: la importancia de los datos, concretamente 
el big data, para el éxito de la TA. En el mundo empresarial, el 
origen del término big data se atribuye a un artículo publicado 
en el año 2001 por Doug Laney, vicepresidente de investigación 
de Gartner Research, en el que destacó tres tendencias del mun- 
do empresarial: 1) el notable volumen de datos transaccionales 
generados por el comercio electrónico y la voluntad de las em- 
presas de conservar esta información; 2) la velocidad de crea- 
ción de datos producida por la interacción entre organizaciones 
y clientes; y 3) la oportunidad de integrar y gestionar una mayor 
variedad de información, con formatos y estructuras diferentes. 
Estos elementos constituyen las famosas 3 V del big data: su vo- 
lumen, variedad y velocidad de generación de datos por parte de 
usuarios finales, así como de entidades públicas y privadas. 

Según el catedrático de teoría de las organizaciones 
Thomas Davenport (2014), el big data viene a indicar una 
nueva forma de competición de mercado basada en el análisis 
automatizado de grandes conjuntos de datos, lo que permite 
a aquellos que manejen esa tecnología mejorar la eficiencia de 
sus procesos, personalizar sus servicios y anticipar futuras 
demandas de sus clientes. El big data, en otras palabras, re- 
presenta una fuente de ventaja competitiva y un nuevo esta- 
dio de lo que anteriormente se definía como business inte- 
lligence y que hoy llamamos big data analytics, es decir, la 
intersección entre las tecnologías de almacenamiento y ges- 
tión de datos con el mundo del aprendizaje automático y de 
las redes neuronales. El big data representa entonces la inter- 
sección de varias tecnologías que permiten vincular y compa- 
rar grandes conjuntos de datos y utilizar esos datos para iden- 
tificar patrones y tomar decisiones. 

Si en 2010 el big data era el tema de conversación más 
común en las reuniones de negocios, en el año 2023 el valor 
económico y social del big data y de la IA específica son incues- 
tionables. Al ser un concepto muy vago, el big data coincide 
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también con la creencia generalizada de que los grandes con- 
juntos de datos digitales ofrecen una forma superior de in- 
teligencia que puede generar un conocimiento más objetivo, 
neutral y preciso (Boyd y Crawford, 2012). Una “mentalidad ba- 
sada en big data” también parece justificar que sea aceptable 
que las redes sociales al mismo tiempo midan, manipulen y mone- 
ticen el comportamiento de los usuarios. Dentro de la economía 
de la atención basada en el refrán “si no pagas por el producto, 
tú eres el producto” parece normal que los usuarios faciliten in- 
formación personal a las empresas y reciban servicios a cambio. 

El aprendizaje automático es la parte de la IA que está 
influyendo más directamente en nuestras vidas y que pode- 
mos comparar con otros inventos o descubrimientos determi- 
nantes como la electricidad o el fuego. Al ser el aprendizaje 
automático excelente para reconocer patrones en los datos, se 
puede usar en cualquier ámbito de aplicación. Así, los ornitó- 
logos lo utilizan para clasificar el canto de los pájaros, los astró- 
nomos para buscar planetas en los destellos de la luz de las es- 
trellas y los bancos para evaluar el riesgo de crédito y prevenir 
el fraude. El estado de avance de áreas como el procesamiento 
del lenguaje natural (NLP) o el procesamiento de imágenes es 
tan alto que sus resultados —desde la escritura automática de 
artículos a los deepfakes— nos parecen alarmantes. 


El capitalismo de la vigilancia 


Nuestros datos constituyen el activo más importante de la eco- 
nomía digital, también llamada economía de las plataformas o 
capitalismo de la vigilancia (Zuboff, 2019). Acontecimientos co- 
mo los confinamientos asociados a la pandemia de COVID-19 
han fortalecido y amplificado la expansión del ecosistema digi- 
tal de datos. Según la Comisión Nacional de los Mercados 
y la Competencia (CÉNMOC), en el segundo trimestre de 2020, 
la facturación de los sitios de comercio electrónico aumentó 
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en España 12 020 millones de euros. El ecosistema digital en 
el que vivimos depende de las decisiones de multinacionales 
y gigantes tecnológicos que definen cada día más nuestra for- 
ma actual de vivir siguiendo las dinámicas de un mercado 
fundamentalmente oligopolístico en el que 11 empresas esta- 
dounidenses tienen hoy en día más de 100 millones de abona- 
dos digitales. En el año 2000, pocos predijeron el carácter 
monopolístico de la tecnología digital; hoy en día, hay amplio 
consenso entre los economistas sobre este tema. 

La Unión Europea ha marcado entre sus prioridades la 
autonomía y soberanía tecnológica en su estrategia digital para 
2025. Si miramos a las empresas tecnológicas europeas, vemos 
que SAP sigue siendo el titán tecnológico más poderoso por in- 
gresos, con unas ventas anuales de casi 30 000 millones de euros. 
Su valor de mercado es de 123 000 millones de euros y ha cele- 
brado su 50” aniversario en abril de 2022. La longevidad de SAP 
se debe en parte a que una vez que las empresas optan por un 
determinado tipo de softzwvare empresarial resulta complicado 
sustituirlo. Sin embargo, es uno de los pocos gigantes que ha 
sobrevivido a tres cambios radicales: de los ordenadores centra- 
les a los sistemas “cliente-servidor” más distribuidos, luego a 
Internet y ahora a la computación en la nube (cloud computing). 
Entre las razones por la que SAP es de los pocos gigantes euro- 
peos en el ámbito digital se mencionan la reacia actitud al riesgo 
de empresarios y consumidores europeos, la falta de capital de 
riesgo, la burocracia y un mercado interno fragmentado. “Todos 
problemas conocidos y que siguen sin solución. 


La economía de las plataformas 
El debate sobre los retos sociales de la IA incluye autores que 
critican la economía del dato y que hablan de datificación pi- 


diendo justicia (de los datos) (Dencik ez al., 2019); también 
los que hablan de economía de las plataformas (Mansell y 
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Steinmueller, 2020) —o de la vigilancia— proponiendo solu- 
ciones para romper o regular los oligopolios. Los economistas 
consideran que, al ser intermediarias, las plataformas digitales 
tienen la tendencia a convertirse en oligopolios. A esto se suma la 
facilidad de adoptar una estrategia de innovación basada en la 
adquisición de empresas más pequeñas. ¿De quién estamos ha- 
blando? De los cinco gigantes digitales estadounidenses cuyos 
productos y servicios “alegran” nuestras vidas: Apple y Micro- 
soft, que tienen más de 40 años, Alphabet (Google) y Amazon, 
que han superado los 20 años, y Facebook, que pasó a llamarse 
Meta a partir de octubre de 2021 y que cumplió 18 años en 
febrero de 2022. Estos gigantes tenían en 2021 un valor de 
mercado de 7,6 billones de dólares; se estima que sus ventas se 
duplicarán en la próxima década. Para que nos hagamos una 
idea de lo que significa, pensemos que el presupuesto de gasto 
del Estado español para 2022 fue de 347 486 millones de euros. 

Es difícil competir en el mercado de las plataformas digi- 
tales: hay demasiados lazos estrechos entre empresas. Alphabet 
paga a Apple hasta 12 000 millones de dólares al año para que 
Google sea el motor de búsqueda por defecto del iPhone. 
Mirando más allá de Estados Unidos, vemos que China cuenta 
con Alibaba y "Tencent y otros cinco contendientes con un va- 
lor de 100 000 millones de dólares o más. Huawei representa 
una alternativa al duopolio Apple-Alphabet de sistemas opera- 
tivos ¡OS-Android. La India cuenta con Jio y el sudeste asiático 
con Grab, Gojek y Sea. Alibaba y Tencent tienen participacio- 
nes en algunas de las nuevas empresas chinas. China tiene una 
nueva lista de “las nueve cosas que no hay que hacer” para las 
empresas de comercio electrónico, entre las que se incluye no 
dejar fuera a los nuevos competidores. Se piensa que el resur- 
gimiento de las autoridades antimonopolio puede marcar la 
diferencia en el futuro de la economía digital. Para eso, Europa 
está planeando normas para que los productos de las distintas 
empresas sean interoperables y permitan a los usuarios mover 
sus datos entre las distintas plataformas. 
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Evidentemente, el panorama del mercado digital es cam- 
biante. La proporción de ingresos de los cinco gigantes ame- 
ricanos que se solapan con los demás ha pasado del 22 al 38% 
desde 2015**. Por ejemplo, Microsoft y Alphabet se enfrentan 
a Amazon en la nube (cloud). Amazon es, a su vez, la fuerza 
en ascenso en publicidad digital. Además, la cuota de merca- 
do del resto de empresas se mantiene estable, en torno al 35%, 
en cada uno de los 11 subsectores tecnológicos estadouni- 
denses. Pero la cuota de las segundas y terceras empresas ha 
aumentado del 13 al 26% desde 2015: se reduce la distancia 
entre los gigantes y sus competidores. PayPal, por ejemplo, 
aspira a tener 750 millones de usuarios de su aplicación fi- 
nanciera para 2025. Empresas tecnológicas independientes, 
como Shopify en el comercio electrónico, se han abierto paso 
y están generando suficientes beneficios para ser autosufi- 
cientes. Nuevas versiones de Steve Jobs emergen cada día reo- 
rientando el rumbo de lo que llamamos innovación. 


Para terminar 


Este capítulo nos ha servido como punto de partida para si- 
tuar nuestra conversación sobre los retos morales y sociales 
de la IA en el contexto de la economía de las plataformas, 
también conocido como capitalismo de la vigilancia. La digi- 
talización ha generado la materia prima que alimenta el desa- 
rrollo de los modelos de IA basados en aprendizaje automáti- 
co. Estos modelos, que tanto éxito están teniendo, inundan los 
dispositivos digitales que colonizan cada día más cada detalle 
de nuestras vidas. En este breve ensayo intentaremos encon- 
trar un hilo narrativo que nos permita relacionar debates y 
aplicaciones muy diversas: desde las redes sociales y la IA 
generativa a los robots y sus usos duales. 


18. “The rules of the tech game are changing: A new phase in the global tech 
contest is under way”, The Economist, 27 de febrero de 2021. 
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CAPÍTULO 2 
¿Puede ser ética la lA? 


Cuando hablamos de ética de la IA queremos que la ética 
aplicada (o práctica) nos ayude a saber cómo deberíamos ac- 
tuar en determinadas situaciones. La proliferación de nuevas 
aplicaciones de IA y la rapidez en la adopción de las mismas 
hace que sea difícil predecir a prior: los problemas que gene- 
rará la IA en cada caso. Esta situación suele hacer que las re- 
flexiones surjan cuando los problemas se convierten en es- 
cándalos que preocupan a la opinión pública. “Titulares de 
prensa del tipo “Cómo los algoritmos te discriminan por ori- 
gen racial y por género” promueven este debate y hacen que 
queramos saber qué hacer en el caso de una IA que, a pesar 
de cumplir con el objetivo para el que ha sido desarrollada, 
reproduzca sesgos incrustados generando resultados discri- 
minatorios. Evidentemente, las preocupaciones (más o me- 
nos fundadas) que genera la IA son directamente proporcio- 
nales a su nivel de penetración en nuestras vidas. Por eso, en 
los siguientes capítulos hablaremos de artefactos digitales 
muy diversos, mientras que dedicaremos este capítulo a ha- 
blar de los principios éticos y filosóficos que nos pueden ayu- 
dar a enfrentarnos a los retos que pone la IA. 


33 


Una definición preliminar de ética de la lA 


La ética consiste fundamentalmente en formular juicios mo- 
rales. La metaética es la forma más abstracta de la ética y 
trata sobre si existen o no verdades morales. La ética descrip- 
tiva intenta describir lo que un grupo concreto de personas 
considera correcto o incorrecto, sin relacionarlo necesaria- 
mente con ninguna teoría subyacente o concepción global de 
la moralidad. La ética normativa, por su parte, se centra en 
cómo debe actuar la gente y es el ámbito de la ética en el que 
se debaten y definen las tres principales teorías éticas (utilita- 
rismo, deontología y ética de la virtud). Por último, está la 
ética aplicada, que son las teorías éticas normativas aplicadas 
a circunstancias particulares (por ejemplo, la ética médica, la 
empresarial, la de la investigación o la asistencial). Según 
Setra y Danaher (2022), la ética aplicada incluye también 
distintas formas de ética de la tecnología, y en esta podemos 
incluir la ética de la ingeniería, la ética de la tecnología, la éti- 
ca de la informática, la ética de la IA o la ética de la robótica. 

La ética de la IA abarca cuestiones como el diseño y uso 
de sistemas autónomos en general (tanto armas como otros 
sistemas), los prejuicios de las máquinas, la privacidad y la 
vigilancia, la gobernanza, el estatus de las máquinas inteligen- 
tes, la automatización y el desempleo, e incluso la coloniza- 
ción espacial. No hay además consenso sobre la validez de 
denominar esta área de estudio como ética de la IA. Floridi 
(1999) sugería hablar de ética de la información, Langford 
(2000) de ética de internet, y Anderson y Aderson (2011) de 
ética de las máquinas. Recientemente, se ha propuesto hablar 
de ética de los datos (Hand, 2018) y de ética digital (Luke, 
2018), reconociendo la contribución de los estudios sobre 
medios de comunicación digitales, los estudios de vigilancia y 
privacidad y la sociología crítica feminista, entre otros. 

En su manifestación más cercana a la filosofía, la ética 
de la IA se expresa a través de principios y directrices que 
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puedan guiar el diseño, el despliegue o la adopción de la IA. 
Al ser un área nueva y en evolución, esas directrices van evo- 
lucionando cada día. Dicha evolución refleja los hallazgos 
presentados en revistas y eventos académicos'”, así como los 
cambios normativos presentes en códigos de conducta o en 
leyes. También hay una parte de ética normativa que la profe- 
sora Casey Fiesler, en su análisis de los temarios de los cursos 
de ética de la tecnología impartidos en escuelas de ingeniería 
informática, resume en el siguiente objetivo formativo: la ha- 
bilidad de detectar problemas y criticar lo establecido consi- 
derando alternativas de diseño, o de implementación, que 
combinen múltiples perspectivas epistémicas (Fiesler, Garrett 
y Beard, 2020). 

La capacidad de realizar un análisis crítico del diseño, 
implementación e impacto de la IA es lo que previene el sesgo 
de automatización, es decir, la tendencia de las personas a 
usar de forma sesgada las sugerencias proporcionadas por un 
sistema automatizado de recomendación (Skitka, Mosier y 
Burdick, 1999). En este sentido, el diseño de un sistema de IA 
puede aumentar o disminuir el riesgo de que se produzca el 
sesgo de automatización. Un estudio sobre sistema de co-ra- 
zonamiento humano-máquina muestra que los 204 partici- 
pantes del mismo eran más propensos a seguir la lógica del 
sistema de IA cuando se les daba una respuesta prefabricada, 
pero cuando la IA planteaba una pregunta, los participantes 
admitían que el sistema de IA les hacía cuestionarse más sus 
reacciones y les ayudaba a ser más críticos y reflexivos (Danry 
et al., 2023). 

Hoy en día, la difusión de los sistemas de recomendación 
en todos los sectores nos da la impresión de que son las má- 
quinas las que tienen el poder de tomar decisiones cotidianas 
que alteran nuestras vidas. Cuando se permite que sea la IA la 


19. Como, por ejemplo, el congreso “FAcc'T — Justicia, responsabilidad y trans- 
parencia” organizado por la Association for Computing Machinery (ACM), en 
Estados Unidos. 
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que determine en segundos la solvencia de los solicitantes de 
préstamos o se ofrece a los jueces recomendaciones sobre el 
riesgo que alguien que ha cometido un delito en el pasado 
vuelva a delinquir, nos enfrentamos a nuevos posibles episo- 
dios de sesgos de automatización. Vista la gravedad de estos 
asuntos, el hecho de que muchos de estos sistemas de IA sean 
“Cajas negras”, es decir, que los seres humanos no pueden 
acceder ni comprender fácilmente la lógica que lleva al siste- 
ma a recomendar una determinada decisión, hace difícil po- 
der sondear y cuestionar lo que el sistema de IA propone, 
además de que se fomenta cierta complacencia y pleitesía ha- 
cia la máquina. 

Al ser la IA un campo muy complejo, hacen falta inter- 
mediarios que ayuden a los usuarios finales a entender las 
limitaciones y a usar de forma correcta estos sistemas. El re- 
chazo por parte de las empresas privadas de poner sus algo- 
ritmos de IA a disposición de los usuarios para que lo exami- 
nen, porque consideran que el software es propiedad intelectual, 
es otro tipo de falta de transparencia que exige que se esta- 
blezcan procedimientos de auditorías de algoritmos con el 
fin de reducir el riesgo de que se produzcan resultados ad- 
Versos. 

Otro problema bastante conocido es el de los sesgos de 
los algoritmos, es decir, que los datos que utilizamos para 
“entrenar” algoritmos reflejan y perpetúan las injusticias ya 
presentes en la sociedad. El famoso estudio de Joy Buolamwini 
y Timnit Gebru (013) —retratado en el documental de 
Netflix de 2020 Sesgo codificado— identifica una falta de pre- 
cisión en los modelos de reconocimiento facial asociado con 
la baja presencia de información de determinados grupos so- 
ciales en las bases de datos. El estudio evidencia una mayor 
precisión del algoritmo a la hora de identificar rostros de 
hombres con tono de piel más claro en comparación con mu- 
jeres con tono de piel más oscuro. La sospecha de discrimina- 
ción abre el camino a un análisis tecnopolítico de la IA. 
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Un estudio de 113 conjuntos de datos para procesa- 
miento de imágenes evidencia cuatro valores que guían los 
autores que construyen estas bases de datos: eficacia, univer- 
salidad, imparcialidad y calidad de los modelos de aprendi- 
zaje automático (Scheuerman, Hanna y Denton, 2021). Para 
cada valor, los autores identifican un valor silenciado, es decir, 
aquellos que se devalúan implícitamente en favor de los valo- 
res adoptados. Estos valores silenciados son: la paciente cura- 
ción de los datos, su contexto, su posición social y política y la 
calidad de las prácticas adoptadas en generar la base de datos. 

Este tipo de estudios critican la neutralidad u objetividad 
de los algoritmos poniendo de relieve los valores epistémicos y 
políticos de que están embebidos los algoritmos. El estudio de 
los sesgos algorítmicos permite apreciar la grave disparidad ra- 
cial y de género de muchos sistemas basados en el aprendizaje 
automático y saber, por ejemplo, que los sistemas de reconoci- 
miento del habla malinterpretan a los hablantes negros el doble 
de veces que a los blancos (Koenecke et al., 2020). 

Cualquier sistema automático de recomendación puede 
tener este tipo de sesgos más allá de los sistemas de recono- 
cimiento de imágenes o de voz. Se trata, por ejemplo, de que 
un algoritmo que examina solicitudes de empleo pueda es- 
tablecer sus criterios para determinar qué tipo de currícu- 
lum es el adecuado basándose en quién tiene esos puestos 
en ese momento. Si en la base de datos con la que se entrena 
el algoritmo hay una mayoría de hombres blancos, es proba- 
ble que el algoritmo decida que el candidato ideal es un 
hombre blanco. Una vez que tengamos este conocimiento, 
hay que asegurarse de que los profesionales involucrados no 
se abstengan de actuar creyendo que son otros los responsa- 
bles de intervenir. Además, no debemos creer que el sesgo 
algorítmico depende solo de deficiencias del conjunto de da- 
tos: a menudo, los problemas pueden atribuirse a la dificultad 
de medir las interacciones entre todas las variables usadas en 
un modelo (Hooker, 2021). 
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La ética de la lA en Europa 


Durante los últimos años, muchas entidades públicas y priva- 
das se han esforzado en elaborar líneas maestras para el desa- 
rrollo ético de la IA. Muchas de estas iniciativas añaden nuevos 
principios a los cuatro clásicos de la bioética —una de las áreas 
más avanzadas de la ética aplicada—, que son: beneficencia, no 
maleficencia, autonomía y justicia. Es decir, que la IA debe no 
solamente contribuir a la promoción del bienestar individual y 
del bien común general, sino también superar los prejuicios 
potenciales que pueda generar su uso para los sujetos, las co- 
munidades y el medioambiente. Por eso, es preciso añadir al 
principio de no maleficencia los principios de precaución y pre- 
vención, intentando asegurar que la IA no haga daño a nadie o 
a nada. Además, la IA ha de estar centrada en las personas y 
respetar el derecho de las mismas a decidir y elegir libremente. 
Podemos también interpretar el concepto de justicia tanto co- 
mo equidad como no discreminación. La puesta en práctica de 
todos estos principios requiere establecer mecanismos de con- 
trol que permitan reparar los daños generados de forma volun- 
taria o involuntaria por parte de los actores responsables del 
despliegue del sistema de IA. Podemos entender estos princi- 
pios como un amparo y escudo frente a la fragilidad y vulne- 
rabilidad que podemos experimentar como individuos y co- 
mo sociedad con relación a la IA (Ausín, 2021). 

La reflexión ética representa entonces una invitación a 
analizar los valores y las creencias de todos los agentes (por 
ejemplo, diseñadores, programadores, desarrolladores, etc.) 
involucrados en el diseño y despliegue de estas tecnologías 
produciendo una metaética, es decir, un análisis del origen 
de los principios éticos que aplicaremos durante el proceso de 
coproducción de nuestro sistema de IA y así impedir que los 
grupos involucrados (programadores, usuarios, clientes, au- 
toridades de control, etc.) caigan en el error de pensar que el 
problema no es de ellos, sino de otros. 
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En Europa, la Lista de Evaluación de la Inteligencia 
Artificial Confiable (ALTAD) pretende ayudar a evaluar si el 
sistema de IA que se está desarrollando, desplegando, adqui- 
riendo o utilizando cumple con los siete requisitos detallados 
en 2022 en las “directrices éticas para una IA de confianza” 
elaboradas por el Grupo de Expertos de Alto Nivel en Inte- 
ligencia Artificial de la Comisión Europea: 


1. El respecto de la autonomía de los humanos y su papel 
como supervisores. 

2. La robustez y seguridad técnica de los sistemas de IA. 

3. El respecto de la privacidad de los datos mediante meca- 
nismos de gobernanza adecuados. 

4. La transparencia e inteligibilidad de la IA. 

5. El respecto de la diversidad y de la equidad en contra de 
toda forma de discriminación. 

6. La protección del bienestar ambiental y social. 

7. La rendición de cuentas. 


ALTALI en la práctica representa una lista de comproba- 
ción, es decir, un recordatorio de aspectos a tener en cuenta a 
la hora de evaluar la confiabilidad de un sistema de IA en 
desarrollo. El éxito de su implementación depende del nivel 
de preparación y compromiso de los agentes involucrados en 
el diseño, el despliegue y el uso del sistema de IA. Volviendo a 
lo anterior: el lugar en el que se manifiesta y resuelve el dilema 
moral vuelve a ser la cadena de producción del algoritmo, 
software o servicio de IA. Miremos ahora algo más en detalle 
cada uno de estos principios. 


ALTA! +41: la protección de la autonomía del ser humano 
El primer principio pide que la IA no sustituya a las personas, 


sino que les permita tomar decisiones informadas y gozar de 
todos sus derechos fundamentales. Al tal fin, deben existir 
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mecanismos de supervisión basados en enfoques como por 
ejemplo el de human-in-the-loop. En otras palabras, aunque 
sean ayudados por una IA, los seres humanos deben conser- 
var la autonomía de debatir las sugerencias de la IA y decidir 
finalmente por ellos mismos. 

El artículo 22 del Reglamento General de Protección de 
Datos (RGPD) dice explícitamente que “todo interesado 
tendrá derecho a no ser objeto de una decisión basada única- 
mente en el tratamiento automatizado, incluida la elaboración 
de perfiles, que produzca efectos jurídicos en él o le afecte 
significativamente de modo similar”, a menos que dicha deci- 
sión no sea parte de un contrato entre las partes, esté autori- 
zado por ley o el interesado haya dado su consentimiento ex- 
plícito a dicha operación. Este artículo no solamente impone 
un principio de transparencia y visibilización del uso de mé- 
todos automatizados de recomendación, sino también la 
facultad de que los interesados puedan recurrir la decisión 
con la ayuda e intermediación de un operador humano. Este 
principio pretende salvaguardar la libertad y autonomía del 
ser humano, contrarrestando la pleitesía y subordinación a la 
máquina. 


ALTAI 42: garantías de robustez y seguridad técnica de la lA 


Los sistemas de IA deben ser resistentes y seguros, garanti- 
zando un plan de contingencia que permita la continuidad 
de las operaciones en caso de que surjan problemas inespe- 
rados. Que la IA sea robusta implica que sus resultados sean 
exactos, fiables y potencialmente reproducibles. Asegurar la 
calidad de los resultados y prevenir cualquier intento de mani- 
pulación de los mismos con, por ejemplo, ataques de aprendi- 
zaje automático adversario (adversarial machine learning), es 
fundamental para prevenir que el sistema vulnere los derechos 
o los intereses del usuario final en línea con el principio de no 
maleficencia heredado de la bioética. Asegurarse de que los 
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sistemas de IA sean seguros implica evitar su uso indebido, su 
manipulación y velar sobre su correcto funcionamiento. En 
otras palabras, la IA no debe dañar a nadie o a nada. 


ALTAI +43: protección de la privacidad 
y buen gobierno de los datos 


Vista la importancia del aprendizaje automático, es evidente 
el papel central que los datos y su gestión juegan en el éxito 
de cualquier proyecto de IA. Como muchos de estos datos 
pueden definirse como datos personales, su protección (que 
en EE UU se llama privacidad de la información) se convier- 
te en una obligación en la Unión Europea al ser un derecho 
fundamental establecido en el Tratado de Lisboa. 

El RGPD de la Unión protege el derecho fundamental a 
la protección de los datos personales estableciendo el marco 
jurídico sobre la protección y la libre circulación de los datos 
personales dentro de la UE. Cualquier entidad pública o pri- 
vada que se dedique al tratamiento de datos personales de 
ciudadanos europeos o cuyo establecimiento principal esté en 
la UE debe cumplir con el RGPD. 

En España, la Ley Orgánica de Protección de Datos y 
Garantía de los Derechos Digitales (LOPDGDD) comple- 
menta el RGPD, matizando algunos aspectos específicos de 
la ley dentro del marco jurídico español. Estas leyes imponen 
que los responsables y encargados del tratamiento adopten 
mecanismos adecuados de gobernanza de los datos, teniendo 
en cuenta su calidad e integridad y garantizando el acceso 
legítimo a los mismos. 

El buen gobierno de los datos implica además preser- 
var la relación de confianza entre los que ceden y los que 
procesan los datos, tema especialmente importante a la ho- 
ra de establecer, por ejemplo, espacios de datos sanitarios?. 


20. Véase la guía de la AEPD de mayo de 2023, “Aproximación a los espacios de 
datos desde la perspectiva del RGPD”, en https://bitly.ws/VMOm. 
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Evidentemente, el derecho a la intimidad en el entorno virtual 
va más allá de un buen modelo de gobernanza de datos. Si, 
por ejemplo, creemos como Cory Doctorow?! que “la priva- 
cidad es el derecho a equivocarse”, entendemos fácilmente 
por qué el artículo 94 del RGPD prevé el derecho de supre- 
sión —conocido como derecho al olvido— que limita la difu- 
sión y con ella la memoria perpetua —en internet o en las 
redes sociales— de ciertos acontecimientos de los que fuimos 
protagonistas y que nos gustaría olvidar. 


ALTAI +4: promoción de la transparencia 


Los sistemas de IA deben diseñarse de tal forma que no sean 
cajas negras, sino que se mantenga cierta inteligibilidad y 
conocimiento por las partes interesadas de su lógica interna 
y de las fuentes y modelos de datos y de negocio que influ- 
yen en su funcionamiento. Los usuarios y operadores deben 
ser conscientes de que están interactuando con un sistema 
de IA y deben conocer las capacidades y limitaciones del 
mismo. 


ALTAI +£5: obligación de no discriminar 
asegurando la equidad y respetando la diversidad 


Los sistemas de IA no deben reproducir prejuicios sociales 
que puedan marginar a grupos vulnerables o desembocar en 
la discriminación de sus miembros. Para fomentar la diversi- 
dad, los sistemas de IA deben ser accesibles y todos y todas 
deben poder participar en su diseño y desarrollo. 


ALTAI 46: promoción del bienestar ambiental y social 


Los sistemas de IA deben beneficiar a todos los seres hu- 
manos, incluidas las generaciones futuras. Por ello, hay que 


21. En https://bitly.ws/Wdr6. 
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garantizar que sean sostenibles y respetuosos con el medioam- 
biente. 


ALTA! ++7: obligación de establecer mecanismos 
de rendición de cuentas 


Deben establecerse mecanismos que permitan identificar res- 
ponsabilidades y sanciones en caso de que se genere algún 
perjuicio o daño como consecuencia del uso de un sistema de 
IA. Es además necesario auditar la IA, esto es, evaluar los al- 
goritmos, los datos y los procesos de diseño de la IA para 
asegurarse de que no haya sesgos incrustados. Además, de- 
ben establecerse mecanismos de compensación adecuados 
que permitan que haya una reparación de los daños. 


Limitaciones de una ética de la IA 
basada en principios 


Una revisión de la literatura de los principios éticos para la 
IA en 2020 identifica siete áreas temáticas recurrentes y 
en general coherentes con ALTAI: 1) control humano de 
la tecnología, 2) responsabilidad y promoción de valores, 
3) privacidad, 4) seguridad, 5) transparencia y explicabi- 
lidad, 6) equidad y no discriminación, 7) compromiso 
profesional (Ejeld ez al., 2020). A pesar del consenso alre- 
dedor de estos principios, algunos expertos critican la va- 
lidez de adoptar un enfoque basado en principios y moti- 
van su escepticismo diciendo que la IA carece de: objetivos 
comunes y deberes fiduciarios, códigos profesionales, mé- 
todos probados para llevar los principios a la práctica, y 
sólidos mecanismos jurídicos y profesionales de asunción 
de responsabilidad (Mittelstadt, 2019). Además, parece 
superfluo celebrar el consenso en torno a principios de 
alto nivel que siguen ocultando profundos desacuerdos 
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políticos y normativos en cada contexto específico de apli- 
cación. 

Por eso, mientras que los enfoques éticos occidentales 
canónicos, desde la deontología hasta el consecuencialismo, 
proponen teorías y principios para la IA universales y genera- 
lizables, teorías como el afrofeminismo (Collins, 2002) ha- 
blan de “interseccionalidad” entre sexismo, opresión de clase 
y racismo, reivindicando la necesidad de analizar la IA po- 
niendo el foco en la estrecha relación entre prácticas sociocul- 
turales y desarrollo tecnológico (Birhane et al., 2022). Romper 
estas prácticas requiere un cambio social profundo que no 
puede materializarse simplemente en un código de buenas 
prácticas. Sirva como ejemplo un estudio (Akbar et al., 2023) 
en el que se muestra que el 84% de las investigadoras e inves- 
tigadores que han publicado en las actas del congreso de 
ACM FAccT sobre equidad, transparencia y responsabilidad 
entre 2018 y 2022 replican dinámicas de poder al provenir de 
países occidentales y de contextos cultos, industrializados, ri- 
cos y democráticos. Hasta el Foro Económico Mundial reco- 
noce que los beneficios económicos y sociales de la IA siguen 
concentrados geográficamente, sobre todo en el Norte global. 
En el Sur global, la falta de disponibilidad y compatibilidad 
de los datos y una conectividad de red fiable siguen siendo 
importantes puntos débiles. 

En su libro, Kate Crawford (2021) —investigadora de 
Microsoft Research y catedrática de IA y Justicia en la 
École Normale Supérieure de París— revela el entramado 
económico que permite el desarrollo de las tecnologías de- 
trás de la IA. Crawford empieza su cartografía de la IA por 
la famosa mina de metales de tierras raras de Mountain 
Pass en Norteamérica. La IA se presenta como una tecno- 
logía extractiva cuya vida depende de la energía eléctrica 
(figura 4) y cuya creación necesita muchos minerales y 
metales, pero también el esfuerzo físico y mental de miles de 
seres humanos. 
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Fuente: ELABORACIÓN PROPIA A PARTIR DE DATOS 
DE Luccion1 ET AL. (2022), EN STATISTA. 
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“Hacer solo el bien” (beneficencia) y “no hacer daño” 
(no maleficencia), aunque parezcan a primera vista dos for- 
mas de hablar de lo mismo, representan en realidad ideas fun- 
damentalmente distintas. La IA puede contribuir al bienestar 
de ciertos grupos o a enriquecer a unos pocos poderosos en 
detrimento de comunidades que ya han sido desposeídas 
en el pasado. La TA, como cualquier tecnología que transfor- 
ma recursos naturales, estará siempre en el ojo del huracán de 
los conflictos de interés entre grupos sociales. Un debate cen- 
trado únicamente en principios abstractos no permite enten- 
der la materialidad y con ella la complejidad, los conflictos y 
las inercias asociadas a la producción de la IA. Sin dicha com- 
prensión es imposible proponer medidas adecuadas para pre- 
venir o resolver los problemas generados por la creciente 
adopción de tecnologías digitales, que, además, plantea pre- 
guntas y problemas éticos (Heilinger, 2022) del tipo: ¿sobre 
quién recae la responsabilidad en caso de daños derivados 
del uso de un sistema de IA? ¿Cómo puede evitarse que 
los sistemas de IA reflejen la discriminación, los prejuicios y 
las injusticias sociales existentes a partir de sus datos de en- 
trenamiento, agudizándolos de esta manera? ¿Cómo pode- 
mos comprender, explicar y controlar —si es que alguna vez 
podemos hacerlo— el funcionamiento interno de un sistema 
complejo de IA? ¿Cómo puede protegerse la intimidad de las 
personas, dado que los datos personales pueden ser recogidos 
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y analizados con tanta facilidad? ¿Cómo puede protegerse la 
autonomía de las decisiones humanas y contrarrestar la in- 
fluencia indebida y la pérdida de capacidades humanas (des- 
killing) resultantes del uso de la IA? 

Para responder a estas cuestiones hay autores que pro- 
ponen la formulación de principios que orienten sobre lo que 
moralmente debe hacerse, con base en catálogos de responsa- 
bilidades y deberes; otros proponen sopesar las promesas 
frente a las consecuencias perjudiciales para centrarse en un 
uso “virtuoso” de la IA o incluso en una IA virtuosa en sí 
misma. Finalmente, autoras como yo misma sostienen que el 
desarrollo ético de la IA es facultad y responsabilidad de to- 
dos los actores involucrados (desde los mismos diseñadores y 
desarrolladores de estas tecnologías hasta sus usuarios). 


La primera línea de la ética de la lA 


En el diseño y desarrollo de la IA quien seguramente tiene 
estatus ontológico y moral son sus diseñadores y desarrolla- 
dores y con ellos y ellas también quienes contribuyen con sus 
datos y su uso a su perfeccionamiento. Es decir, que quienes 
se enfrentan cada día a los dilemas morales que genera la IA 
somos nosotros. Por eso, la ética de la IA incluye tanto cues- 
tiones deontológicas como de filosofía de la tecnociencia por- 
que, como contamos a continuación, la ética de la IA es tam- 
bién un problema de ética de la investigación. 

Así, en 2012, el Departamento de Seguridad Nacional 
de EE UU publicó el “Informe Menlo: Principios éticos 
que guían la investigación en tecnologías de la información 
y la comunicación”, donde se pide que antes de empezar 
cualquier proyecto TIC es necesario aclarar la relación en- 
tre investigadores, sujetos y tecnología. Hay que respetar la 
autonomía de los individuos que participan en el desarro- 
llo tecnológico, tutelando a las personas más vulnerables. 
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Los investigadores deben tener en cuenta que los riesgos 
para los sujetos se sopesan contra los beneficios para la 
sociedad, y no en beneficio de los investigadores indivi- 
duales o de los propios sujetos de investigación. Los inves- 
tigadores deben actuar con la debida cautela teniendo en 
cuenta las obligaciones establecidas en leyes, reglamentos, 
contratos y otros acuerdos privados relevantes para su in- 
vestigación. Los comités de ética de la investigación deben 
analizar cada caso con atención, especialmente aquellos en 
los que no se pueda obtener consentimiento informado por 
parte de las personas que participan directamente, indirec- 
tamente o con sus datos en la investigación o en el desarro- 
llo de la TA. 

Consecuentemente, la ética de la IA también incluye la 
deontología profesional del programador. En el Código de 
Ética y Conducta Profesional de la ACM de EE UU se decla- 
ra que “un profesional de la informática debe: 1.1. Contribuir 
a la sociedad y al bienestar humano, reconociendo que todas 
las personas son partes interesadas en la informática. 1.2. 
Evitar el daño, es decir, cualquier consecuencia negativa, es- 
pecialmente cuando esas consecuencias son significativas e 
injustas. 1.3. Ser honesto y digno de confianza, es decir, pro- 
porcionar información sobre las capacidades, pero también 
las limitaciones y problemas potenciales de un sistema [...] 
1.4. Ser justos y no discriminar, es decir, fomentar la partici- 
pación equitativa de todas las personas, incluidas las de los 
grupos infrarrepresentados [...]”. 

Finalmente, la ética de la IA trata temas de responsabili- 
dad social corporativa que a su vez reflejan la deontología de 
las empresas públicas y privadas protagonistas de su desplie- 
gue. Este es probablemente el contexto en el que el disenso y 
la desobediencia salgan más caros. Tomando como ejemplo 
el respeto del principio de seguridad y robustez técnica en el 
desarrollo de la TA, podemos pensar que las empresas digita- 
les tienen todo el interés por cumplir estos principios. Sin 
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embargo, la evidencia empírica demuestra que a veces los in- 
tereses de negocio generan perversos desincentivos para in- 
vertir en ciberseguridad. 

Este es el caso de Peiter Zatko, jefe de seguridad de 
Twitter desde noviembre de 2020 hasta enero de 2022, y cu- 
yo trabajo como hacker ético se conoce bajo el pseudónimo 
“Mudge”. En 2022, a los 51 años, Zatko decidió poner en 
riesgo su brillante carrera profesional para revelar secretos 
sobre las dudosas actividades llevadas a cabo en Twitter con 
el objetivo de producir un cambio importante en la empresa. 
Según Menn (2022), en la demanda enviada a la Comisión 
del Mercado de Valores en julio de 2022, Zatko habla de 
"Twitter como de una empresa paralizada por un liderazgo 
deshonesto y sin rumbo, una empresa contaminada por in- 
fluencias extranjeras, acosada por “atroces” fallos de privaci- 
dad y seguridad, en fin, un peligro para la seguridad nacional 
y susceptible incluso de un colapso total. 

En la demanda oficial se puede leer lo siguiente sobre las 
motivaciones de su denuncia: “Cuando los hackers éticos en- 
cuentran una vulnerabilidad que los malos pueden explotar, 
primero proceden a hacer una “divulgación responsable” si- 
lenciosa para que la empresa o el gobierno afectados puedan 
arreglarla. Pero a veces la organización vulnerable no quiere 
escuchar la verdad ni solucionar el problema. En esos casos, 
los hackers éticos se ven obligados a sopesar los riesgos de 
una divulgación más amplia: exponer las vulnerabilidades po- 
ne en alerta a personas malintencionadas, pero también per- 
mite a los usuarios tomar decisiones informadas y así permitir 
una mejora del servicio”. 

Hay tantos casos de exempleados y exempleadas denun- 
ciando malas prácticas, especialmente en el contexto de la 
economía digital, que desde junio de 2023 es obligatorio tam- 
bién en España establecer en las empresas y organismos pú- 
blicos canales anónimos de denuncia. Esta obligación viene 
de la Ley 2/2023 reguladora de la protección de las personas 
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que informen sobre infracciones normativas y de lucha con- 
tra la corrupción, la que transpone la Directiva europea 
1937/2019 para la protección de las personas que informen 
sobre infracciones del derecho de la Unión. 


Para terminar 


Hoy en día, el debate sobre la ética de la IA incluye tanto 
cuestiones de “justicia de datos”, sesgo algorítmico y activis- 
mo digital como temas de diseño de sistemas de IA que estén 
alineados con los valores de los humanos que los usen y pre- 
guntas filosóficas fundamentales sobre conceptos como los 
de autonomía y responsabilidad. En las páginas de este capí- 
tulo hemos intentado tratar varios temas relacionados con es- 
te debate con la intención de fomentar la curiosidad más que 
para dar respuestas concluyentes. 
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CAPÍTULO 3 
¿Es creativa la inteligencia artificial generativa? 


Por IA generativa entendemos cualquier sistema de IA cuya 
función principal sea generar contenidos. La IA generativa 
es aquella que puede crear una amplia variedad de datos, 
como imagen, vídeo, audio, texto y modelos 3D. Esto se 
contrapone a los sistemas de IA que realizan otras funcio- 
nes, como clasificar datos (por ejemplo, asignar etiquetas a 
imágenes), agrupar datos (identificar segmentos de clien- 
tes con comportamientos de compra similares) o elegir ac- 
ciones (dirigir un vehículo autónomo). Ejemplos típicos de 
sistemas de IA generativa son los generadores de imágenes 
y arte a partir de una descripción en lenguaje natural (co- 
mo Midjourney, Stable Diffusion o DALL-E 2), los gran- 
des modelos lingúísticos (como GP'14, PaLM o Claude), 
las herramientas de generación de código (como Copllot) 
o las de generación de audio (como VALL-E o resemble. 
al). La capacidad creativa de estos sistemas de IA y el gran 
valor que tienen para los usuarios y las empresas hace ne- 
cesario dedicar un capítulo a analizar los retos que plantea 
esta IA. 
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El ChatGPT y sus primos 


Desarrollado por la empresa estadounidense OpenAl, 
ChatGPT es un chatbot cuyo funcionamiento se basa en un 
modelo lingúístico de gran tamaño o LLM (large language 
model) llamado GPT o transformador generativo preentrena- 
do (generative pre-trained transformer). El ChatGPT Impact? 
muestra que, desde su lanzamiento el 30 de noviembre de 
2022 hasta el 1 de junio de 2023, se han publicado sobre 
ChatGPT un total de 17 064 649 tuits, 408 577 posts en 
Facebook, que han generado 48 312 411 interacciones, y 
56 330 posts en Instagram que han dado lugar a 101 174 488 
visualizaciones. Las publicaciones científicas publicadas en el 
mismo periodo se han centrado en diversos temas relaciona- 
dos con ChatGPT, entre ellos, mejoras del modelo, aplicacio- 
nes de ChatGPT, aspectos éticos y sociales, evaluación y 
comparación con otros modelos lingiúísticos y sistemas de 
inteligencia artificial. 

Debemos agradecer al matemático ruso Andrey Andre- 
yevich Markov la existencia de estos modelos. Markov creía que 
el lenguaje era un ejemplo de sistema probabilístico en el 
que los sucesos pasados determinan en parte los resultados 
presentes. Para demostrarlo, en 1913, Markov empleó la no- 
vela Eugenio Oneguin, de Pushkin, para calcular la probabili- 
dad de que una letra determinada apareciera en algún mo- 
mento del texto dependiendo, hasta cierto punto, de la letra 
que la precedía. 

De la misma forma que el modelo de Markov, la cons- 
trucción de frases de ChatGPT 4 se basa en las 32 767 pala- 
bras anteriores a la palabra que queremos predecir. ChatGP"T 
no es el único LLM que hace eso; BERT, PaLM y LaMDA de 
Google o LLaMA de Meta Al son sus primos hermanos. La 
gracia de estos modelos es que intentan —y logran con sor- 
prendente éxito— imitar la forma que tenemos los humanos 


22. Véase https://www.chatgptimpact.com/. 
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de conversar. Como dicha imitación se basa en el análisis de 
textos y conversaciones de todo tipo, las intenciones de los 
humanos que escribieron los textos utilizados para entrenar 
los modelos serán las que aparezcan de forma inesperada en 
los resultados proporcionados por cada LLM. Si aquellos hu- 
manos que escribieron los textos estaban intentando resultar 
agradables a su interlocutor, estos chatbots responderán tam- 
bién de forma amable; y también podría ser posible que los 
autores y autoras estuvieran intentando obtener algo material 
o seducir a su interlocutor manipulando sus emociones. 
Cualquier fin que estuvieran persiguiendo puede suponerse 
que volverá a aparecer antes o después de forma inesperada 
en los modelos. ¿Significa eso que los chatbots son conscien- 
tes y tienen intenciones propias?” Antes de intentar respon- 
der a esta pregunta profundizamos algo más en otras aplica- 
ciones de IA generativa. 


Sobre la creatividad de la lA generativa 


Entre los muchos usos que se pueden hacer de la IA genera- 
tiva, es llamativa la posibilidad de “resucitar” artistas u otros 
personajes históricos de calado para que vuelvan a expresarse 
después de su muerte. Es el caso de DeepBach y del modelo 
Ask Ruth Bader Ginsburg (Pregunta a Ruth Bader Ginsburg), 
de los que hablaremos a continuación. 

Gaetan Hadjeres y Francois Pachet, de los laboratorios de 
informática de Sony en París, pensaron que sería interesante 
ver si una máquina podía crear cantatas idénticas a las del com- 
positor barroco Johann Sebastian Bach. Para averiguarlo, desa- 
rrollaron una red neuronal que llamaron DeepBach y que en- 
trenaron utilizando un conjunto de datos de 352 cantatas de 
Bach que fueron transpuestas a otras claves dentro de un 


23. Stewart Russell expresa esta idea en la entrevista “Beyond ChatGPT: Stuart 
Russell on the Risks and Rewards of A.I.”, en https://bitly.ws/VNuN. 
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rango vocal predefinido para crear un total de 2503 corales. 
Tras el entrenamiento, DeepBach fue capaz de producir sus 
propias armonías para contralto, tenor y bajo al estilo de 
Bach, cuando se le daba una melodía para soprano. El equi- 
po pidió a más de 1600 personas — una cuarta parte de las 
cuales eran músicos profesionales o estudiantes de músi- 
ca— que escucharan dos armonías distintas de la misma 
melodía. Los resultados mostraron que más de la mitad de 
los oyentes atribuyeron a Bach las armonías generadas por 
DeepBach, mientras que la música de Bach fue identificada 
correctamente por el 75% de los oyentes (Hadjeres, Pachet 
y Nielsen, 2017). Por su parte, el músico de jazz y catedrá- 
tico de ciencia de la computación Mark D”'Inverno invita a 
otros músicos a usar estos modelos para experimentar con 
su propia música escuchando versiones artificiales de su 
propia producción musical en un ejercicio de reflexión y 
autocrítica en torno a la pregunta “what does 1t mean to sound 
right?” (¿qué significa que suenen bien?), en la que coexis- 
tan consideraciones de belleza estética, bien moral y verdad 
epistémica (McCormack et al., 2019). 

Otro ejemplo fascinante es el modelo Ask Ruth Bader 
Ginsburg”*, que se basa en 27 años de escritos jurídicos y 
entrevistas de la famosa jueza del "Tribunal Supremo de 
Estados Unidos. Un equipo de la empresa israelí de IA AD1 
Labs introdujo este registro en un LLM para generar res- 
puestas que se parecieran alos veredictos de la jueza Ginsburg. 
Para la redacción de este libro, planteé a ask-rbg.ai la siguien- 
te pregunta: “Mi amigo ha muerto y con él/ella todas sus 
cuentas de redes sociales. ¿Tiene la familia derecho a heredar 
el contenido de sus redes sociales?”. Y esta fue la respuesta: 
“Sí. La familia tiene derecho a lo que es suyo. De hecho, la 
mayoría de los estados tienen leyes de privacidad en las redes 
sociales. California, por ejemplo, tiene una ley, y sé que algu- 
nos de los otros estados también. La preocupación es que un 


24. Puede consultarse en https://ask-rbg.ai/. 
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difunto podría haber compartido información que no querría 
que sus seres queridos vieran”. 


FiGURA 5 


Ilustración de Ruth Bader Ginsburg. 


FUENTE: HTTPS://ASK-RBG.Al/ . 


La respuesta es válida: el acceso a la herencia digital en 
EE UU depende de las leyes de cada estado y de los términos 
de uso de cada plataforma. Por lo general, si la persona no ha 
dado su consentimiento habilitando esta opción antes de mo- 
rir, nadie puede acceder a sus cuentas. Cada plataforma tiene 
una función en los controles de privacidad para que el usua- 
rio planifique su legado digital. De la misma forma que el 
“testamento vital”, todos deberíamos dedicar un momento 
a reflexionar a quién queremos dejar en herencia nuestras 
cuentas y legado digital. 


25. El testamento de voluntades anticipadas o vital es un documento en el que 
una persona deja constancia escrita de su voluntad con relación a los tratamien- 
tos médicos a los que desea someterse o no, en caso de enfermedad, llegado el 
momento en que no pueda expresarse por sí misma. 
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Estas reflexiones conducen al deepfake, es decir, a vídeos 
o audios falsos, manipulados digitalmente, producidos me- 
diante aprendizaje automático con redes neuronales profun- 
das. En sus comienzos en 2017, los deepfakes se usaban en 
vídeos en los que se superponían los rostros de famosos sobre 
los rostros y cuerpos de actores porno mientras actuaban. 
Desde entonces, estas técnicas se han empleado, por ejemplo, 
para que Grand Moff Tarkin y Leia Organa, personajes inter- 
pretados por los actores ya fallecidos Peter Cushing y Carrie 
Fisher respectivamente, fueran resucitados en Rogue One: una 
historia de Star Wars. La película de 2023 Indiana Jones y el 
dial del destino comienza mostrando un joven Indy (Harrison 
Ford) luchando contra los nazis. La nueva tecnología de efec- 
tos visuales desempeñó un papel importante para que Ford 
pudiera aparentar la misma edad que tenía cuando interpretó 
por primera vez a Indiana Jones en los años ochenta. El resul- 
tado es espectacular. 

Esta tecnología puede también usarse para promover 
causas humanitarias. La tecnología de doblaje desarrolla- 
da por la empresa de IA Synthesia ha permitido a David 
Beckham “hablar” nueve idiomas para una campaña de con- 
cienciación contra la malaria (Davies, 2019). En un docu- 
mental de HBO que detalla la vida de activistas LGBTOQ+ 
obligados a vivir en secreto bajo amenaza de ejecución se usó 
deepfake para proteger sus identidades utilizando “envolto- 
rios” (zvrappers) deepfake que permitieran que el director no 
viera a los activistas LGBTOQ+ residentes en países en lo que 
fuera un delito ser LGB'TQ+ (Heilweil, 2020). 

Evidentemente, el potencial para el uso malévolo de esta 
tecnología es enorme. Por ejemplo, puede utilizarse para ter- 
giversar las declaraciones de figuras públicas, como en el caso 
de un vídeo que circuló por las redes sociales el año pasado 
en el que se mostraba falsamente a Zelensky, presidente de 
Ucrania, anunciando la rendición del país (Chicharro, 2022). 
Se usó probablemente una técnica en la que se manipulan los 
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movimientos de la boca de una persona para que parezca que 
está diciendo algo que en realidad no ha dicho. De la misma 
forma se pueden manipular audios de una persona real y que 
parezca estuviera diciendo algo que nunca dijo. Por supuesto, 
una tecnología de uso general como esta tiene potencial para 
ser utilizada indebidamente de mil maneras: para suplantacio- 
nes fraudulentas de identidad con fines lucrativos o para inicios 
de sesión no autorizados en sistemas controlados por voz. 
Además, también permite crear mensajes personalizados para 
cientos o miles de personas sin necesidad de grabar cada men- 
saje, y usar estos mensajes en campañas de ph1shing* dirigido. 

Vistos sus riesgos no nos sorprende que en Estados 
Unidos se haya empezado a prohibir el uso de deepfake. En 
noviembre de 2020, el estado de Nueva York promulgó una 
ley que prohíbe expresamente el uso de “la réplica digital de 
un artista fallecido” en contenidos audiovisuales durante 40 
años después de la muerte del artista, si ese uso es “suscepti- 
ble de engañar al público haciéndole creer que fue autoriza- 
do”. En el ámbito político, "Texas promulgó una ley en sep- 
tiembre de 2019 que prohibía la difusión de vídeos deepfake 
engañosos con la intención de dañar a los candidatos o influir 
en los votantes en los 30 días previos a unas elecciones. Al 
mes siguiente, California aprobó una ley similar, pero especi- 
ficó que el periodo en cuestión estaba dentro de los 60 días de 
una elección. 

En la Unión Europea, la Ley de Servicios Digitales, que 
entró en vigor en noviembre de 2022, exige a las grandes pla- 
taformas digitales que aumenten la vigilancia del uso indebido 
de sus servicios y la eliminación de contenidos ilícitos. Según la 
propuesta, los proveedores de deepfakes estarían además suje- 
tos a requisitos de transparencia adicionales. El Código de bue- 
nas prácticas en materia de desinformación de la UE, actuali- 
zado en junio de 2022, también aborda los deepfakes. 


26. El phishing es un tipo de ciberataque diseñado para engañar a los usuarios y 
hacer que revelen información confidencial. 
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La IA como juego de imitación 


La aspiración de construir máquinas capaces de imitar o has- 
ta de superar las capacidades del ser humano ha jugado un 
papel fundamental en el desarrollo de la IA. El mismo Alan 
Turing publicó en 1950 su propuesta de lo que denomina “el 
juego de imitación” y que más tarde se conocerá como el 
“test de Turing”: una prueba de la capacidad de una máquina 
de mostrar un comportamiento inteligente equivalente o in- 
distinguible del de un ser humano. En la novela de Philip K. 
Dick ¿Sueñan los androides con ovejas eléctricas?, se lee que “los 
androides se agitaban impotentes al afrontar el Test de Medida 
de la Empatía” porque la empatía era el único elemento que 
permitía diferenciar un androide de un ser humano. Y esa ca- 
racterística no podía ser suplantada por su inteligencia. 
Volvamos entonces al pasado y a la que podríamos lla- 
mar “la bisabuela” de Ask Ruth Bader Ginsburg: hablamos 
de ELIZA, uno de los primeros chatterbots capaces de intentar 
el test de Turing. Un programa informático de procesamiento 
del lenguaje natural creado por Joseph Weizenbaum en el 
MIT Artificial Intelligence Laboratory en 1966. Weizenbaum 
consideraba ELIZA como un método para mostrar la super- 
ficialidad de la comunicación entre el hombre y la máquina, 
pero se sorprendió por el número de personas que atribuían al 
programa informático sentimientos parecidos a los humanos, 
incluida la secretaria de Weizenbaum. El nombre ELIZA hace 
probablemente referencia a la historia de Eliza Doolittle, la 
protagonista de la obra de George Bernard Shaw Pygmalion, 
escrita en 1913 y adaptada a musical en 1956 con el título My 
Fatr Lady. Eliza (de Lisson Grove, Londres) es una florista que 
acude al profesor Henry Higgins pidiendo clases de elocu- 
ción, tras un encuentro casual en Covent Garden. Higgins 
acepta la apuesta de convertir a la humilde florista en una 
dama de la élite londinense y al final la alumna supera al maes- 
tro. De la misma forma, ELIZA simulaba un psicoterapeuta 
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capaz de responder con preguntas no convencionales a las 
intervenciones de los usuarios. 

El test de Voigt-Kampff que realiza Deckard (Harrison 
Ford) a Rachel (Sean Young) para ver si es una replicante en 
la película de Ridley Scott de 1982 Blade Runner es un test de 
Turing. En la película de 2014 de Alex Garland titulada Ex 
Machina se realiza un test parecido para establecer la huma- 
nidad de la IA llamada Ava. 


El problema de la responsabilidad legal y moral 


Geoffrey Hinton”, de 75 años, profesor emérito de la Univer- 
sidad de Toronto y hasta hace poco vicepresidente e ingeniero 
de Google, compartió públicamente su preocupación a princi- 
pios de mayo de 2023 al dejar la empresa. Hilton había tenido 
la oportunidad de interactuar con el modelo lingúístico PALM 
de Google (similar al de ChatGP'T) en marzo de 2023. En 
esa ocasión, Hinton había pedido a PALM que le explicara un 
chiste que acababa de inventarse. PaLM fue capaz de respon- 
der explicando claramente por qué el chiste de Hinton era 
gracioso. La respuesta dejó al hombre asombrado: el modelo 
había alcanzado en muy poco tiempo un nivel de sofisticación 
mucho mayor del que Hinton se esperaba. Si se usara para 
lanzar campañas de desinformación, PaLM hubiera podido 
generar daños inimaginables. Por eso, Hinton se ha sumado al 
grupo de expertos que piden ralentizar el proceso de desarro- 
llo y adopción de la IA generativa. 

En una carta abierta? publicada el 22 de marzo de 2023 
y firmada por más de 30 mil expertos se hace un llamamiento 
a todos los laboratorios de IA para que pongan en pausa du- 
rante al menos 6 meses el entrenamiento de sistemas de IA 


27. En 2018, Hinton recibió el Premio Turing, el galardón más prestigioso de la 
informática, por su trabajo en redes neuronales. 
28. Puede consultarse en https://bitly.ws/Wduh. 
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más potentes que GP"[4 para dedicarse a la investigación 
técnica sobre la seguridad de la TA, promoviendo al mismo 
tiempo el desarrollo de sistemas gobernanza de la IA que in- 
cluyan un ecosistema de auditoría y certificación que reduz- 
ca los riesgos de manipulación de esta tecnologías. Aunque 
LaMDA no sea consciente, ya se ha demostrado que la IA 
generativa puede incurrir en un plagio, en infracciones de de- 
rechos de autor o en la creación de contenidos nocivos que se 
pueden usar en campañas de desinformación. 

El ordenamiento jurídico establece la responsabilidad de 
los causantes del daño, la llamada “causa legal” del daño. Pero 
si la IA no es una persona jurídica, ¿quién debe indemnizar por 
los daños causados por ella? El artículo 12 de la Convención de 
las Naciones Unidas sobre la Utilización de las Comunicacio- 
nes Electrónicas en los Contratos Internacionales establece 
que una persona (física o jurídica) en cuyo nombre se haya 
programado un ordenador debe ser responsable en última 
instancia de cualquier mensaje generado por la máquina. 
Según la teoría jurídica americana del “bolsillo profundo” 
(deep pocket), la persona que se dedica a actividades peligro- 
sas debe compensar los daños causados a la sociedad con los 
beneficios económicos obtenidos. Ya sea el productor o el 
programador, esa persona debe garantizar sus actividades pe- 
ligrosas mediante un seguro obligatorio de responsabilidad 
civil (Cerka, Grigiené y Sirbikyte, 2015). Otra posibilidad es 
dividir la responsabilidad entre un grupo de personas incor- 
porando la doctrina de la empresa común a un nuevo régl- 
men que indique responsabilidades objetivas. 

Uno de los retos de una IA fiable es la incorporación de 
cierto grado de inteligibilidad tanto para los no expertos (mé- 
dicos y pacientes, usuarios finales de aplicaciones digitales, 
etc.) como para los expertos (diseñadores y desarrolladores 
de productos, analistas de datos, etc.). Esta comprensión del 
funcionamiento del sistema ayuda a establecer responsabili- 
dades en caso de fallos, accidentes o manipulación intencional 
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facilitando la labor de las instituciones (fiscales y tribunales) 
que puedan exigir que haya cierta rendición de cuentas (ac- 
countability). Por eso, en su análisis de códigos de conducta 
para la IA, Floridi y Cowls (2022) añaden a los principios 
básicos de la bioética —es decir, a la beneficencia, no malefi- 
cencia, autonomía y justicia— el principio de explicabilidad. 
Este concepto permite distinguir la inteligibilidad —cómo 
funciona un algoritmo o una IA— de la explicabilidad, en el 
sentido de identificar quién es responsable del funcionamien- 
to del sistema. A la hora de enfrentarse a sistemas de IA que 
usen redes neuronales profundas cuyo funcionamiento inter- 
no no sea inteligible para los humanos, una reflexión ética nos 
invita a pensar hasta qué punto y bajo qué circunstancias es 
apropiado que los desarrolladores y los usuarios experimen- 
ten con un determinado sistema. 

A menudo, los que se enfrentan cada día a dilemas éticos y 
cuestiones varias de filosofía moral son los propios programa- 
dores. Sirva como ejemplo el caso de Timnit Gebru —la investi- 
gadora del estudio mencionado anteriormente y exresponsable 
de la unidad de IA ética de Google—, que en diciembre de 2020 
tuvo que dimitir a causa de un conflicto interno generado por la 
redacción de un artículo (Bender et al., 2021) donde los autores 
hablaban de los riesgos de los grandes modelos lingiísticos en- 
trenados con cantidades ingentes de datos de texto”. 


Nuestra contribución al desarrollo de la lA generativa 


La rapidez de la evolución de la IA generativa se debe en gran 
medida a usuarios como nosotros dispuestos a jugar con estos 


29. Este tipo de preocupaciones son compartidas por muchos expertos y exper- 
tas, como ha quedado demostrado en los Principios de IA de Asilomar, coordina- 
dos por el instituto Future of Life (FLI) durante la conferencia Beneficial Al 2017 
(con 5720 firmas) y la carta abierta titulada “Pongamos en pausa los experimentos 
de IA a gran escala” (https://bitly.ws/Wduh), publicada el 22 de marzo de 2023, en 
la que los 33 711 firmantes piden una ralentización del proceso de desarrollo de 
la IA generativa. 
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sistemas y a contribuir al desarrollo de los mismos. Muchos 
sistemas de IA generativa se ponen a disposición de los usua- 
rios para que las personas interactúen con ellos mientras ope- 
ran. Como todo en la economía de datos, los sistemas se po- 
nen a disposición del público durante la fase de testeo hasta 
llegar a una solución sólida que se pueda comercializar. En 
otras palabras, no se trata de un gesto de generosidad por 
parte de empresarios bondadosos, sino de una invitación a 
participar en un experimento social de mejora de producto. 
En el caso de los chatbots, por ejemplo, las preguntas que 
introducimos (conocidas como prompt) también son datos 
que contribuyen a entrenar el modelo. 


FIGURA 6 


Imágenes de “ética de la inteligencia artificial, 
fondo blanco, arte digital”. 


Fuente: CRAIYoN. 
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Es evidente que cuando decidimos participar en dichos 
experimentos lo hacemos para recibir un servicio para el que, 
de momento, no estaríamos dispuestos a pagar en metálico, 
pero sí en datos”. 


Para terminar 


Hoy en día no interactuamos con algo como Hal 9000 —la IA 
de la película 2001: Odisea del espacio—, pero sí con una va- 
riedad de chatbots sobrinos de ELIZA como ChatGPT que, 
desde su lanzamiento el 30 de noviembre de 2022, ha genera- 
do un ferviente debate sobre los riesgos y el potencial de la IA 
generativa. En este capítulo hemos intentando aproximarnos 
a este novedoso y complejo tema ofreciendo una panorámica 
de los muchos retos que el despliegue de estos sistemas está 
generando. 


30. Un buen ejemplo de esto es el siguiente: antes de ChatGP'T4, OpenAlI había 
presentado un generador de texto llamado GP'13 que servía de base a un gene- 
rador de imágenes llamado DALL-E 2 y que traducía los comandos de texto en 
imágenes como las de la figura 6 creadas por el programa CrAlyon (https://www. 
craiyon.com/) a partir de la descripción “ética de la inteligencia artificial, fondo 
blanco, arte digital”. 


62 


CAPÍTULO 4 
¿Quién teme a los robots? 


Los ámbitos de aplicación de la IA van desde la defensa na- 
cional (por ejemplo, drones o vehículos acorazados autóno- 
mos) o de la ciberseguridad”' (seguridad de sistemas informáti- 
cos o detección de bots en campañas de desinformación) hasta 
la agricultura (por ejemplo, robots móviles autónomos para re- 
coger la cosecha) y la sanidad (robots móviles humanoides para 
el transporte de comida en hospitales y residencias o para el al- 
macenamiento y distribución de medicamentos). La ética apli- 
cada a la IA nos indica un conjunto de principios que pueden 
guiarnos a la hora de emplear la IA en contextos muy diversos. 
Después de haber visto tantas películas de ciencia ficción, que 
llegue del futuro una versión de Terminator medio RoboCop 
no parece descabellado preguntarnos: ¿nos debería preocupar el 
escenario catastrófico en el que una AGÍ (una inteligencia artifi- 
cial general) creada por humanos erradique nuestra especie? 
Cuatro de los laboratorios de investigación en IA más famosos y 
mejor financiados del mundo —OpenAl, DeepMind, Anthropic 
y xXAl— están promoviendo iniciativas para que la opinión pú- 
blica hable del tema del riesgo existencial de la IA. 


31. Para una introducción al dominio de la ciberseguridad, véase Arroyo, Gayoso 
y Hernández (2020). 


63 


En este capítulo trataremos de cómo la ciencia ficción 
nos ha presentado los problemas de robots y androides hasta 
llegar al problema del reparto de responsabilidades del desa- 
rrollo masivo de artefactos de doble uso, como los robots, 
cuyo despliegue a gran escala puede generar un riesgo exis- 
tencial para la humanidad. Hablaremos también de alinea- 
ción de valores y de una aproximación al diseño de estos sis- 
temas desde una visión de la interacción humano-máquina 
basada en la ética del cuidado. 


Los robots como sirvientes o esclavos 
y nuestro miedo hacia ellos 


Es imposible hablar de IA sin mencionar su materialización, 
es decir, los robots. En 1921 el dramaturgo checo Karel Capek 
estrenó su obra de ciencia ficción R. U. R. (Rossumovi Un:- 
verzální Robot1)*, en la que se empleaba la palabra checa ro- 
bota para describir unos sirvientes artificiales. Una adapta- 
ción de la obra, presentada en el Reino Unido por la BBC en 
1938, se considera uno de los primeros programas de televi- 
sión de ciencia ficción**, género al que, a partir de la posgue- 
rra, los robots entran a formar parte. Desde el “desalmado” 
hombre de hojalata de la película El mago de Oz de 1939 
hasta Q'*1 (conocido como Cutie) que cree ser el mensaje- 
ro del convertidor de la Estación Solar 5 en la novela de 1950 
I, Robot, de Isaac Asimov, se han multiplicado las historias 
sobre estos seres más o menos pensantes creados para servir 
a la especie humana. 

Como toda obra de arte, los robots tienen algo nuevo, 
algo viejo y algo prestado que podemos encontrar en la histo- 
ria de los autómatas. El mecánico relojero hispano-italiano 


32. R. U. R.: Robots Universales Rossum. 
33. R. U. R. (lost BBC television adaptations of science-fiction play; 1938, 1948). 
Lostmediawiki, 12 de mayo de 2023. 
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Juanelo Turriano (h. 1500-1585) construyó para Felipe Il un 
autómata de 40 cm de altura, hecho en hierro y madera, que 
representaba la figura de un monje franciscano, hoy conser- 
vado en el museo estadounidense Smithsonian de Historia de 
Washington (Viana, 2020). El autómata camina poniendo un 
ple tras el otro, se da golpes en el pecho con una mano como 
si entonara el mea culpa y levanta y baja una pequeña cruz de 
madera con la otra; mientras gira su cabeza, mueve los ojos y 
la boca como si estuviera rezando. Gracias a los sofisticados 
mecanismos de relojería que lleva en su interior, el muñeco 
puede andar en varios sentidos, mover cabeza y ojos, abrir la 
boca y hacer con los brazos el gesto de imponer el crucifijo. 


FIGURA 7 


El monje móvil de Juanelo Turriano. 


Fuente: DaDERoT, WikIMEDIA COMMONS. 
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Podemos imaginar que el monje móvil de Juanelo susci- 
tase en su momento tanto desconcierto como el que nos ge- 
neran hoy los distintos artefactos que albergan una IA. Para 
entender nuestros miedos y prejuicios hacia estas creaciones 
no podemos olvidar otro tipo de criaturas conocidas como 
gólem. La novela Der Golem de Gustav Meyrink, publicada en 
1913, cuenta la leyenda del rabino Judah Loew ben Bezalel 
que creó un gólem usando arcilla del río Moldava y escribien- 
do en su frente la palabra Emet (verdad). La criatura, criada 
como hizo Dios con Adán, no comía, no bebía y no necesita- 
ba descanso y ejecutaba toda clase de labores. Cuando empe- 
zÓ a resultar conflictiva, el rabino le quitó la vida borrando la 
primera letra de la palabra escrita en su frente, formando así 
la palabra met que en hebreo significa *muerte”. En el poema 
de Jorge Luis Borges “El Golem”, de 1959, se lee que: “Sus 
ojos, menos de hombre que de perro / y harto menos de perro 
que de cosa, / seguían al rabí por la dudosa / penumbra de las 
piezas del encierro. / Algo anormal y tosco hubo en el Golem, 
/ ya que a su paso el gato del rabino / se escondía”. 

De forma parecida, en la famosa novela gótica de Mary 
Shelley de 1318, Frankenstein o el moderno Prometeo, donde se 
habla de “cadáver demoniaco, una cosa que ni Dante podría 
haber concebido, demon o monstruo aborrecido” y que hace 
que su mismo creador aborrezca su existencia: “¡Maldito sea el 
día, diablo aborrecido, en que viste la luz por primera vez!”. 
Estas novelas describen el miedo a desatar fuerzas ocultas pro- 
pias del misterio de la creación judaico-cristiana a la hora de 
generar “vida” fuera de las leyes de la naturaleza y al mismo 
tiempo la propensión del ser humano de esclavizar tanto la na- 
turaleza como a otros de su misma especie o de otra especie. 

La literatura profundiza en la relación entre ese golem 
demon —que nos fascina e inquieta— y su creador, dando, en 
el caso de la IA, un giro interesante al proponer que la crea- 
ción supere en inteligencia a la de su creador. En el caso de 
los androides de la novela ¿Sueñan los androides con ovejas 
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eléctricas?, en la que se basa la película Blade Runner, la rela- 
ción de superioridad entre el gólem y el creador se invierte. 
En palabras del androide Irmgard al androide Roy a la hora de 
decidir si fiarse del humano J. R. Isidore: “Te diré en qué cosa 
confiamos y nos traiciona, Roy. En nuestra maldita inteligencia 
superior”. Hasta que Roy llega a esta conclusión: “De modo 
que confiaremos nuestras vidas a un infradotado”. ¿Puede un 
ser inferiormente dotado crear otro ser con capacidades muy 
superiores a las suyas? ¿Quién debería entonces ser el esclavo y 
quién el amo? ¿Deberían reinar las máquinas sobre la humani- 
dad si finalmente son ellas las más inteligentes? 


Los androides y el engaño del antropomorfismo 


¿Quién no ha sentido cierta empatía por los androides sin- 
tientes capaces de filosofar sobre el sentido de su vida en la 
película Blade Runner? Magistral es el drama existencial de la 
androide Rachel Rosen, cuya vida no dura más de cuatro años. 
Según la crítica literaria, el protagonismo dado en la ciencia 
ficción al examen de la sensibilidad alienígena o artificial nos 
sirve para entender la condición humana. Es decir, que tanto la 
profunda preocupación ética por los robots como el miedo 
irracional a ellos se derivan de la búsqueda del sentido de la 
identidad humana. Como Narciso mirando su reflejo en el 
agua, estas obras nos permiten proyectar sobre otros seres 
nuestros deseos de protagonismo, libertad y emancipación. 
Lo más parecido a Rachel hoy en día es Sophia: una má- 
quina fabricada por Hanson Robotics que ha adquirido notorie- 
dad por aparecer en tertulias televisivas e incluso obtener estatus 
legal como persona en Arabia Saudí. Más allá de la curiosidad 
de generen, el problema con este tipo de marionetas robóticas es 
que pueden confundir a las personas porque, al expresar opi- 
niones que parecen ser generadas autónomamente y al ser capa- 
ces de imitar visualmente las expresiones humanas, provocan 
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una respuesta emocional en los espectadores que pueden hasta 
empatizar con el robot. Sin embargo, no hay nada parecido a 
Rachel hoy en día que no sea una persona de carne y hueso. 


FiGURA 8 
Robots en la ficción y en la realidad. 


p y 
EL ROBOT DESARROLLADO POR EL CIENTÍFICO RoTwANG— AILA ES UN ROBOT HUMANOIDE CREADO POR DFKI 


EN LA PELÍCULA MUDA DE 1927 METRÓPOLIS, Robotics INNOVATION CENTER (ALEMANIA) EN 2010. 
DE FriTZ LANG. 


La PELÍCULA LOS ROBOTS UNIVERSALES DE Rossunm, RoLLin” JusTIN ES UN ROBOT HUMANOIDE 
ESTRENADA EN 1938. CREADO POR GERMAN AEROSPACE CENTER (DLR) 
EN ALEMANIA EN 2008. 

Desde la aparición de María (la Maschinenmensch o chi- 
ca robótica) en 1927 en la película muda de ciencia ficción 
Metrópolis, dirigida por Fritz Lang, muchos son los ejemplos 
de robots humanoides a los que nos hemos aficionado. Los 
robots que finalmente han entrado en nuestros hogares no 
son humanoides, aunque cumplan muchas de las funciones 
de Rosey: el dibujo animado de la ama de llaves robótica de la 
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familia Jetson. Las imágenes de la figura 8 nos permiten apre- 
ciar algunos ejemplos de robots imaginados y contraejemplos 
de robots realmente desarrollados. 

Dentro de la amplia gama de formas que un robot puede 
asumir, la creación de robots antropomorfos o en forma de 
mascotas genera cierto riesgo de autoengaño. Por lo general, 
es importante que la antropomorfización del robot no se use 
para disfrazar y ocultar ciertas limitaciones de la IA o para 
engañar o manipular al usuario. En el estudio de la interac- 
ción humano-máquina —una pieza fundamental de la investi- 
gación en robótica—, no nos sorprende la importancia de la 
ética del cuidado (Noddings, 2013) en el dominio de la robóti- 
ca asistencial a la hora de estudiar el uso de robots sociales en 
hospitales y residencias (Valles-Peris, 2021). Algunas autoras 
proponen poner al centro del debate el entramado de relacio- 
nes de cuidados de las que participa el robot con el fin de pro- 
mover transformaciones institucionales de relaciones desigua- 
les en las que participan diversos actores (Pareto, 2021). Los 
estudios sobre interacción humano-máquina ayudan a identifi- 
car bajo qué circunstancias tiene sentido que el robot tenga o 
no tenga una apariencia antropomorfa. En entornos industria- 
les, por ejemplo, es preferible que el robot no tenga rasgos an- 
tropomorfos porque, si los tuviera y hubiera fallos, aumentaría 
la desconfianza (Onnasch y Hildebrandt, 2021). 


Desde el Sabueso Mecánico hasta Boston Dynamics 


Hoy en día muchos robots se parecen al Sabueso Mecánico 
de ocho patas del Departamento de Incendios de la novela 
Fahrenheit 451. El Sabueso Mecánico, armado con una letal 
inyección hipodérmica y escoltado por helicópteros, desem- 
peña la tarea de rastrear a los disidentes que aún conservan y 
leen libros. Aunque tenga solo cuatro patas, podemos consi- 
derar el robot Spot de la empresa estadounidense Boston 
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Dynamics algo parecido al Sabueso. Spot es un robot com- 
pacto de cuatro patas que puede cartografiar su entorno, su- 
bir escaleras y abrir puertas, detectar y evitar obstáculos 
mientras trota de un sitio a otro como si fuera un perro. A 
pesar de no tener forma antropomorfa, Spot y otros robots 
de Boston Dynamics, como Atlas, han demostrado ya en 2020 
saber bailar** con gracia y, sobre todo, gran agilidad, un as- 
pecto altamente valorado en la comunidad científica. 


FiGURA 9 
El robot Spot de Boston Dynamics. 


RRA 
1] laa] de 


Fuente: WikIMEDIA COMMONS. 


Es impresionante la rapidez de la evolución del campo 
de la robótica. Pensamos en el primer coche sin conductor”: 
una furgoneta Mercedes-Benz equipada con cámaras y senso- 
res construida en 1986 en la Universidad Bundeswehr de 


34. Boston Dynamics, “DoYou Love Me?”, 29 de diciembre de 2020, en https:// 
bitly.ws/VT'p7. 
35. Sin embargo, la idea es mucho más antigua: en 1925, Houdina Radio Control 


estrenó un coche sin conductor controlado por radio que recorría las calles de 
Nueva York. 
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Múnich bajo la dirección de Ernst Dickmanns. Solamente 21 
años después, en 2007, la universidad Carnegie Mellon ganó el 
Urban Grand Challenge de DARPA y demostró por primera 
vez que un vehículo autónomo podía interactuar con el tráfico 
de vehículos tripulados y no tripulados en un entorno urbano. 
Hoy, el Gran Desafio de Movilidad Aérea Urbana** de la 
NASA promueve la mejora de la movilidad aérea con drones. 
Otros retos” similares se han centrado en el desarrollo de ro- 
bots capaces de operar en condiciones catastróficas prestando 
atención a los protocolos de comunicación por radio y a los 
sistemas de seguridad de las redes informáticas. Los rápidos 
avances han permitido que hoy existan robots de todo tipo: 
desde exploradores como el Curiosity, que aterrizó en Marte 
en 2012, hasta mascotas en forma de perro como Aibo que 
Sony lanzó en 2018. El robot humanoide ASIMO (Advanced 
Step in Innovative Mobility), creado por Honda en el año 
2000, se “ha jubilado” después de 20 años de actividad como 
embajador mundial de la robótica. 

Los robots en comercio están diseñados para ayudar a 
los humanos a llevar a cabo una infinidad de actividades dis- 
tintas: desde transportar cargas pesadas hasta detectar minas 
antipersonas. Por mucho que su presencia genere en nosotros 
sorpresa o entusiasmo no tienen más alma o sensibilidad que 
la que tenga un cuchillo, objeto que, a su vez, la literatura 
puede llenar de drama y sentido existencial. 


Los robots como propiedades 
o como entidades morales 


Joanna J. Bryson (2018) sostiene que sería un error construir 
robots a los que dar una personalidad y dejar que la gente 


36. Véase https://www.nasa.gov/aamnationalcampaign. 
37. The DARPA Grand Challenge: “Ten Years Later, outreach(Adarpa.mil, 
3/13/2014, en https://bitly.ws/VTpk. 
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piense que sus robots son personas. Por el contrario, habría 
que construir robots que se consideren bienes en propiedad 
que deben ser tratados como servidores (servants). Al decir 
que “poseemos” robots —con base en la consideración que 
los diseñamos y fabricamos—, decimos que son enteramente 
nuestra responsabilidad. Sin embargo, si pensamos que los 
animales han sido vistos históricamente como propiedades e 
instrumentos de los seres humanos, entendemos cómo el cam- 
bio de sensibilidad hacia ellos y hacia el medioambiente, a raíz 
del cambio climático, está ayudando a modificar la idea de que 
el ser humano sea el único foco de respeto y consideración 
moral. En este contexto, el concepto de estatus moral remarca 
que entidades distintas a los seres humanos poseen propieda- 
des, características y capacidades que las hacen merecedoras 
de respeto y consideración moral (Llorca Albareda, 2023). 
Evidentemente, queda por demonstrar que la IA tenga alguna 
propiedad fundamental de consideración moral como la (auto) 
conciencia, la sintiencia, la racionalidad, la empatía o la capaci- 
dad de sufrir. Entre estas consideraciones morales, la más fácil 
de argumentar es, sin duda, la racionalidad, definida como la 
capacidad de desarrollar un comportamiento instrumental. 
El grado de independencia que ciertas aplicaciones de IA 
han logrado a la hora de alcanzar ciertos objetivos induce a pen- 
sar que el mito de la autonomía de la máquina pueda con- 
vertirse en realidad. Al hablar de IA y de robots, es fácil confun- 
dir la automatización con la autonomía. La autonomía del sujeto 
es un tema con un largo recorrido filosófico. Los agentes autó- 
nomos son agentes que se autogobiernan (se define agente co- 
mo alguien que actúa). Brevemente podemos decir que cada 
agente tiene una autoridad sobre sí misma que se basa no en su 
papel político o social, ni en ninguna ley o costumbre, sino en 
el simple hecho de que solo ella o él pueden iniciar sus accio- 
nes. Evidentemente, la capacidad de autogobierno no garantiza 
que los agentes tomen decisiones justas O acertadas. Si un 
agente no es capaz de autogobernarse, porque lo que hace es 
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independiente de su poder para determinar cómo actuará, 
decimos que ha perdido autonomía; el lavado de cerebro y la 
adicción son los ejemplos favoritos en la literatura filosófica 
para justificar esa pérdida de control. La posibilidad de que 
haya pérdida de control (o autogobierno) impone al regula- 
dor identificar ex ante las responsabilidades legales. ¿Deberían 
los robots tener entidad moral y ser autónomos y responsa- 
bles de sus decisiones y acciones? 

A la espera de ver si la IA llega a tener estatus moral, el 
pensamiento jurídico sugiere recurrir a instituciones legales 
ya establecidas, tanto entidades jurídicas como físicas. El 
ejemplo clásico es el coche autoconducido: a pesar de tratarse 
de un sistema con reconocido grado de sofisticación técnica, 
en caso de accidente, los responsables serán el conductor/pa- 
sajero del vehículo o el fabricante, siempre y cuando se de- 
muestre su responsabilidad en poner a la venta un producto 
defectuoso. Falta aún para ver a la IA sentada en el banquillo 
de los imputados, a pesar de la ilusión que generen los chat- 
bots de que podamos hablar con una IA. 


La alineación de valores en sistema 
de lA como salvación 


Si creemos, como hace el filósofo sueco Nick Bostrom (2012), 
que “la inteligencia y los objetivos finales (propósitos) son 
ejes ortogonales a lo largo de los cuales los posibles intelectos 
artificiales pueden variar libremente”, según él, llegamos a la 
conclusión de que, más o menos, cualquier nivel de inteligen- 
cia (artificial) podría combinarse con, más o menos, cual- 
quier objetivo final. Si a esto le añadimos que “siempre que 
posean un nivel suficiente de inteligencia, los agentes que ten- 
gan una amplia gama de objetivos finales perseguirán objeti- 
vos intermedios similares porque tienen razones instrumenta- 
les para hacerlo”, de acuerdo con Bostrom, llegamos a la 
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conclusión de que una IA pueda considerar totalmente racio- 
nal empezar a contar los granos de arena en la playa si analiza 
que esa actividad es instrumental para lograr un objetivo. Si 
sustituimos ahora la tarea de contar granos de arenas con otra 
que destruya nuestro ecosistema, llegamos a la conclusión de 
que, si los valores de las máquinas y los valores de los huma- 
nos no estuvieran alineados, una IA podría destruir, de forma 
totalmente consecuente y racional, nuestro ecosistema y, con 
ello, la humanidad. 

A esta misma conclusión había llegado ya el escritor es- 
tadounidense de ciencia ficción Isaac Asimov (1950) con sus 
tres leyes de la robótica mencionadas en el capítulo 1. 

¿Podría una IA destruirnos para perseguir sus objetivos? 
Según la interpretación del “transhumanismo”, perspectiva 
avalada por Bostrom (2021), es posible que el desarrollo tec- 
nológico en nanotecnología, neurociencia, genética, farmaco- 
logía e IA pueda alterar de manera radical la condición huma- 
na mediante la producción de máquinas superinteligentes 
para la colonización espacial o la generación de drogas que 
permitan la recalibración de los centros de placer o la modifi- 
cación de la personalidad. La idea de máquinas superinteli- 
gentes ha llevado a Ilya Sutskever, cofundador y científico 
jefe de OpenAl, a crear un equipo dentro de la empresa lla- 
mado Superalineación que trabaje en “dirigir y controlar sis- 
temas de IA mucho más inteligentes que nosotros”, 

Previsiblemente, la ciencia ficción anticipa la reflexión 
filosófica cuando en la novela Un mundo feliz, del escritor 
británico Aldous Huxley (1932) —nieto del biólogo evoluti- 
vo Thomas Henry Huxley, conocido como el “bulldog de 
Darwin” por su defensa de la teoría de la evolución—, descri- 
be una cadena de montaje permite la procreación, en frascos, 
de personas genéticamente condicionadas para pertenecer a 
uno de los cinco grupos de población existente. Estos grupos 
sociales van del más inteligente al más estúpido: los Alfas (la 


38. Véase https://bitly.ws/VTwt. 
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élite), los Betas (los ejecutantes), los Gammas (los empleados 
subalternos) y los Deltas y los Epsilones (destinados al traba- 
jo más humilde). Cada grupo está programado genéticamen- 
te para cumplir determinadas funciones. En el campo de la 
TA se pretende programar valores dentro de los sistemas de IA 
para que actúen de la forma deseada. Los principios de IA de 
Asilomar dicen que “los sistemas de IA altamente autónomos 
deben diseñarse de modo que pueda garantizarse que sus ob- 
jetivos y comportamientos se ajustan a los valores humanos 
durante todo su funcionamiento”. 

En los primeros días de la investigación sobre IA, Norbert 
Wiener (1960) escribió que, “si utilizamos, para lograr nues- 
tros objetivos, un agente mecánico en cuyo funcionamiento 
no podemos interferir eficazmente... más vale que estemos 
bastante seguros de que el objetivo que se persigue con la 
máquina es el que realmente deseamos”. Hoy en día existe un 
área de estudio específica de la IA que se dedica a explorar 
cómo se pueden alinear los valores de agentes artificiales con 
los valores de los seres humanos (Montes et al., 2023). La 
necesidad de contribuir a esta área desde la filosofía moral y 
la filosofía de la tecnología es innegable: ¿quiero que la IA 
haga lo que yo pretendo que haga o debe hacer lo que es bue- 
no para mí?, ¿quién debería decidir qué valores éticos, políti- 
cos, epistémicos o estéticos ha de priorizar la IA?, ¿qué meca- 
nismos deberían existir para impedir que la IA desarrolle un 
proceso perjudicial para mí o para otros? 


Hacia una IA embebida del entramado 
de relaciones de cuidados 


Para garantizar una robótica e IA responsables y al servicio 
del bien común, los estudios constructivistas de las tecnolo- 
gías argumentan que no hay que perder nunca de vista el 
entramado de relaciones del que lo tecnodigital forma parte. 
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Esta perspectiva académica interpreta todo tipo de artefacto 
tecnológico como el producto de la red de interconexiones de 
valores, relaciones de poder, sesgos, normas, prácticas, cos- 
tumbres, etc., existentes durante el proceso de diseño, desa- 
rrollo y adopción del artefacto. Dentro de ese entramado de 
relaciones, se (re)configuran las funciones, el sentido y los 
usos de la tecnología. 

Esta perspectiva nos ayuda a superar el espejismo que 
deriva de la obstinación de negar la vulnerabilidad como ele- 
mento constituyente y constituido del ser humano. Si diseña- 
mos robots aplicando la idea de vulnerabilidad ontológica 
(Liedo, 2021), la que desmiente que exista la posibilidad de 
no ser nunca dañado y de no depender de otros, podremos 
abrir nuevos caminos a la reflexión sobre la similitud o la di- 
versidad de humanos y robots y así promover el sentido críti- 
co y el aprendizaje en lugar de fomentar la eficiencia, la pre- 
dictibilidad y la repetición de tareas. 

De esta coexistencia y dependencia de todos los elemen- 
tos de un sistema sociotécnico deriva la imposibilidad de que 
la TA (como el ser humano) tenga plena autonomía en el sen- 
tido de pura libertad. El reconocimiento de esa libertad par- 
cial, es decir, incrustada en una red de relaciones de depen- 
dencia, lleva al reconocimiento de una responsabilidad tanto 
moral como legal en la que la IA nunca podrá emanciparse de 
su creador aun cuando llegue a conseguir un alto nivel de 
perfección técnica. Lo contrario también aplica: el ser huma- 
no tampoco podrá nunca desentenderse del sistema sociotéc- 
nico al que contribuye tanto como usuario como diseñador/ 
desarrollador. 

Conscientes de que necesitaríamos otro libro para hablar 
de ética de la investigación científica, nos limitamos a decir 
que, en mayor o menor medida, todos somos responsables, 
pero, a veces, lo somos unos más que otros. Esta considera- 
ción nos sirve para explicar que todos los nodos (tanto los hu- 
manos como los artefactos) que forman parte del entramado 
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tecnosocial han tenido algún grado de libertad y margen de 
decisión, y se pueden estimar corresponsables, en mayor o 
menor medida, del bien o del mal que el producto de sus de- 
cisiones agregadas haya ocasionado. Del mismo modo —y 
por irrisoria que nos parezca nuestra contribución en la his- 
toria—, siempre habrá un momento en el que hayamos toma- 
do una decisión moralmente significativa. Es decir, un momen- 
to en la historia en el que vimos con claridad la “superposición” 
del bien y del mal y actuamos consecuentemente. Nuestras 
palabras o acciones se cristalizaron entonces en verdades no 
duraderas que podrían ser juzgadas a posterior? por nosotros 
mismos o por otros. Lo que no significa abrir un juicio ad 
infinitum de las consecuencias y las intenciones, sino volver a 
afirmar la mutua dependencia y, al mismo tiempo, el vigor de 
nuestra libertad y de nuestra capacidad de influir y marcar la 
diferencia hasta sobre el futuro de la tecnología. 


El dilema de Oppenheimer 


¿Podemos considerar a Oppenheimer moralmente responsa- 
ble de la bomba atómica por no haber rechazado participar 
en su creación? Como bien queda retratado en la película 
Oppenheimer de Christopher Nolan, aunque el físico teórico 
estadounidense se considere el padre de la bomba atómica 
por su liderazgo en la ejecución del proyecto Manhattan, fue 
el presidente de EE UU Henry "Truman quien tomó la deci- 
sión final de lanzar la bomba sobre las ciudades de Hiroshima 
y Nagasaki en agosto de 1945. ¿Debería la comunidad cientí- 
fica cruzar los brazos cuando nos enfrentamos al riesgo del 
uso dual (es decir, para fines a la vez civiles y militares) de 
nuestros inventos? 

Los que sostienen la tesis de la neutralidad creen que los 
artefactos tecnológicos como los algoritmos no encarnan ni 
aplican valores, por lo que su uso es el único lugar apropiado 


77 


para la evaluación ética. Por analogía, según esta visión, no se 
diría que un martillo es tendencioso, sino que puede utilizarse 
de forma tendenciosa. Esta consideración nos lleva al proble- 
ma del doble uso de la tecnología, es decir, el uso de la misma 
tecnología para fines benévolos o malévolos. Famoso es el 
ejemplo del estudio realizado por el grupo del profesor Sean 
Ekins (Urbina et al., 2022) en el que se demuestra cómo un 
método de inteligencia artificial generativa, desarrollado pre- 
viamente para aplicaciones de descubrimiento de fármacos, 
se podía usar fácilmente para generar agentes nerviosos para 
armas biológicas. 

Aun asumiendo que el problema del doble uso afecta a 
todo tipo de artefacto, desde el más rudimental hasta el más 
avanzado, el potencial destructor de este depende de las carac- 
terísticas y funcionalidades de cada uno. Si comparamos el cu- 
chillo con la bomba atómica, vemos que hay varias lecciones 
que deberíamos haber aprendido ya. La primera es que, a pe- 
sar de que siempre existió la opción de no investigar o desarro- 
llar algo, rara vez el ser humano eligió esa opción. La curiosi- 
dad es claramente una característica intrínsecamente humana. 
En el caso de las armas, la justificación habitual es el miedo a 
que lo hagan primero otros. Evidentemente, la fuerza del argu- 
mento es la de la escalada armamentística: los “otros” también 
seguirán trabajando por el miedo a que tengamos el arma pri- 
mero nosotros. La segunda lección es que hay infinitas posibi- 
lidades de desarrollar algo a nivel abstracto y, sin embrago, en 
la práctica, nos encerraremos en un conjunto de soluciones 
subóptimas muy rápidamente y, a menudo, imitando a esos 
famosos “otros”. En eso la historia de la ciencia y la tecnología 
nos ayuda a dejar de interpretar como natural cualquier proce- 
so artificial de creación de artefactos. “También nos ayuda a de- 
Jar de lado la idea de que ciertas funcionalidades solo pueden 
traducirse en determinadas maneras y formas. Finalmente, la 
tercera lección es que, a pesar de que la construcción de má- 
quinas capaces de imitar al ser humano —y, por su apariencia, 
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de engañar a otro ser humano— sea un tema recurrente a lo 
largo de la historia, seguimos replicando estereotipos de inven- 
cibilidad en la construcción de artefactos como los robots. 

Sin embargo, la materialidad de la digitalización, es decir, 
el desarrollo masivo de la IA (tanto en términos de capacidad 
de cómputo como de aplicaciones en robótica) depende de la 
disponibilidad de materias primas como las tierras raras. Estas 
son un conjunto de 17 elementos metálicos que se utilizan en 
todo tipo de productos, desde aviones de combate hasta trenes 
de transmisión de coches eléctricos. Estos elementos son nece- 
sarios para fabricar productos de alta tecnología, como los te- 
léfonos móviles, los discos duros de los ordenadores, los vehí- 
culos eléctricos e híbridos, así como los monitores y televisores 
de pantalla plana. Aunque la cantidad de tierras raras utilizada 
en un producto puede no ser muy elevada, su presencia puede 
determinar que el dispositivo funcione. 

Si pensamos en aquellas aplicaciones de defensa (como 
los sistemas de guiado, los láseres y los sistemas de radar y 
sonar) cuyo funcionamiento depende de estos metales, enten- 
demos inmediatamente su valor geoestratégico. No es casual 
que en 2021 se registrara la segunda mayor producción 
(43 000 toneladas) de tierras raras en Estados Unidos —muy 
superior a la producción de Rusia (2700 toneladas) que, a su 
vez, es mayor que la de Brasil y Vietnam— y que, además, este 
país ocupe el sexto lugar en las reservas mundiales de estos 
elementos, a pesar de que la invasión rusa de Ucrania ponga en 
riesgo la cadena de suministro para Estados Unidos y Europa. 
En total (contando China, Vietnam, Brasil, Rusia, India, 
Australia, Estados Unidos y Groenlandia), las reservas mun- 
diales de tierras raras ascienden a 120 millones de toneladas. 
En 2019, China fue responsable del 80% de las importaciones 
de tierras raras, según el Servicio Geológico de Estados Unidos 
(USGS)”, a pesar de tener las mayores reservas de minerales 
de dichas tierras, con 44 millones de toneladas. 


39. Puede consultarse en https://bitly.ws/VQgu. 
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Para terminar 


En este capítulo, la literatura de ciencia ficción nos ha ayuda- 
do a recordar el origen de algunas ideas y del miedo o de la 
ilusión que generan. En la película Matrix se mantiene a los 
humanos en vainas pegajosas para producir electricidad, 
mientras se proyectan imágenes de una vida simulada a través 
de un cable introducido directamente en sus cerebros. Esta 
película nos permite imaginar un entorno de computación 
omnipresente en el que los flujos de información construyen 
una vasta realidad virtual. El metaverso de Facebook preten- 
de ser un mundo artificial creado por la realidad aumentada 
y virtual en el que se va difuminando la distinción entre lo 
humano y lo artificial. ¿De verdad es tan deseable huir de la 
realidad? Evidentemente, la posibilidad de materializar nues- 
tra fantasía, que la tecnología digital nos ofrece, resulta intri- 
gante. Como hemos podido comprobar en los ejemplos de 
este capítulo, la realidad no solamente nos llama la atención, 
sino que nos ofrece muchas oportunidades de influir —y no 
solamente de incrementar— en el desarrollo tecnológico. 
Ninguna tecnología es intrínsecamente mala (o buena), pero 
las interacciones humano-máquina pueden generar dinámi- 
cas beneficiosas o dañinas para los individuos, los grupos, la 
sociedad y el ecosistema natural en el que habitan. 
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CAPÍTULO 5 
¿Es lo digital de fiar? 


Los dispositivos digitales median nuestras relaciones con fa- 
miliares, amigos o compañeros de trabajo mientras desempe- 
ñamos cualquier tipo de actividad: desde buscar trabajo o 
compartir fotos, a encontrar un restaurante para cenar o un 
coche para alquilar. Pensemos en nuestros teléfonos móviles 
y en cualquier sistema de domótica que tengamos alrededor: 
desde los que controlan nuestro hogar (la asistente virtual 
controlada por voz, el robot aspirador, el termostato inteli- 
gente, los detectores de movimiento, las cámaras vigilabebés, 
etc.) hasta los que miden nuestros signos vitales (pulseras de 
actividad, relojes inteligentes y otros wearables)*."Todos y ca- 
da uno de ellos tienen algo de IA dentro. Por eso, en este 
capítulo, hablaremos de nuestra relación con esos objetos “in- 
teligentes” que a veces el uso y la costumbre convierten en 
invisibles e inevitables. Nos enfrentamos, entonces, a pregun- 
tas del tipo: ¿escuchan los móviles nuestras conversaciones?, 
¿qué sabemos de la relación que existe entre nuestras accio- 
nes, los dispositivos que usamos y el ecosistema digital de 


40. El adjetivo zwearable significa llevable” o “para llevar puesto”. En el ámbito 
tecnológico se usa para indicar vestidos, calzados o accesorios que incorporan 
microprocesadores y funcionan con tecnología inalámbrica. 
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datos?, ¿a qué edad sería oportuno regalar un móvil?, ¿son los 
dispositivos digitales o las redes sociales nocivos para la sa- 
lud?, ¿generan los dispositivos digitales adicción? 


Dispositivos digitales, bienestar y teletrabajo 


Entre las personas que durante la pandemia de la COVID-19 
teletrabajaban, había muchos que decían que las videollama- 
das eran mucho más agotadoras que las reuniones presencia- 
les. Si eres el tipo de persona al que no le gusta mirarse en el 
espejo (o que le miren) y al que le produce cierta ansiedad 
sentirse físicamente arrinconado, probablemente te ha costa- 
do algo más que la media adaptarte a tener que interpretar 
señales no verbales a través de una pantalla (Fauville et al., 
2023). La comunicación no verbal juega un papel fundamen- 
tal en las relaciones interpersonales y ayuda a generar un cli- 
ma de confianza. La pantalla dificulta la comunicación no 
verbal y reduce las señales (gestos, miradas, sonrisas, guiños, 
etc.) que utilizamos normalmente para determinar si alguien 
está mintiendo o diciendo la verdad. Además, la ciencia nos 
dice que la comunicación a distancia se caracteriza por una 
sincronía intercerebral significativamente menor en compa- 
ración con las interacciones cara a cara (Schwartz et al., 
2022). Sabemos que dicha sincronía es muy deseable porque 
mejora la atención y el aprendizaje. Perdemos, además, algu- 
nas coordenadas de comparación, como la altura física de 
nuestro interlocutor y su capacidad de conjuntar corbata y 
calcetines, bolso y zapatos. Es decir, perdemos la frivolidad y 
el café a cambio de una mayor supuesta eficiencia. 
Entonces, ¿cuáles son las ventajas de tener reuniones por 
videollamadas? Probablemente las mismas que las que dis- 
frutamos cuando el teléfono entró a formar parte de nuestras 
vidas a principios del siglo XX: no tener que desplazarse para 
hablar con alguien. Sabemos que permitir la flexibilización 


82 


del horario de trabajo mediante trabajo a distancia aumenta la 
productividad de los trabajadores y mejora el bienestar perso- 
nal y la conciliación familiar, lo que facilita el reparto de ta- 
reas domésticas y de cuidado en muchos casos (Angelici y 
Profeta, 2023). Sin embargo, el trabajo a distancia, y aún más 
el teletrabajo, requiere una adaptación del espacio doméstico: 
la creación de un espacio de trabajo con la luz adecuada y con 
elementos ergonómicos que permitan al trabajador sentarse 
cómodamente. Á estos elementos hay que añadir una cone- 
xión a internet adecuada, unos equipos informáticos portáti- 
les seguros y el establecimiento de una rutina de trabajo que 
mejore la productividad y, al mismo tiempo, permita descan- 
sar de manera breve, pero periódica, y siempre en el respecto 
de unas reglas pactadas de disponibilidad horaria*!. "Todos 
estos elementos deberían formalizarse y financiarse dentro de 
la relación laboral según lo que establece la ley y los convenios 
colectivos y sectoriales, tanto para el sector privado como pa- 
ra el sector público. ¿Suena razonable o del otro mundo? 

Parafraseando a Ortega y Gasset, si “yo soy yo y mi cir- 
cunstancia, y si no la salvo a ella no me salvo yo”, probable- 
mente es hora de dejar la silla de la cocina y comprar esa silla 
para gamers y ese teclado con ratón ergonómico para afrontar 
el largo día de teletrabajo. Dejamos el mundo de los adultos y 
pasamos a analizar el uso de los dispositivos digitales para fi- 
nes recreativos entre los más jóvenes. 


Salud mental y redes sociales 


Académicos como Jonathan Haidt (Haidt y Allen, 2020) de- 
nuncian el aumento de los casos de depresión y suicidio a par- 
tir del año 2012 entre los jóvenes en EE UU y atribuyen este 
efecto a las redes sociales. Los estudios científicos identifican, 


41. Véase el Real Decreto-Ley 28/2020, de 22 de septiembre, de trabajo a dis- 
tancia. 
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de momento, solamente una relación negativa débil entre el 
uso de redes sociales y la salud mental, preocupándose de 
contextualizar cada estudio y resultado (Orben y Przybylski, 
2019). Más clara es la relación negativa que ha tenido la pan- 
demia de COVID-19 sobre la salud mental, con un aumento 
de los casos de trastornos de ansiedad del 27,9% entre las 
mujeres y del 21,7% entre los hombres a nivel mundial 
(Santomauro et al., 2021). Si miramos el caso de España, 
vemos un ligero incremento en el número de suicidios entre 
2006 y 2021. En términos absolutos, esta causa de muerte 
es más frecuente entre los hombres que entre las mujeres y, 
si miramos los datos de 2021, se nota una mayor vulnerabi- 
lidad en la edad central de la vida, a partir de los 40, hasta 
los 60 años. 


Ficura 10 
Suicidios en España entre 2006 y 2021 por sexo. 


3500 y 


3000 + 


_— 
. e e 
e a A 


EN e E o a 


25007 e 


2000 y 


1500 + 


1000 + _A 


500 + 


0 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 ] 
2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 


—e— Hombres —o— Mujeres 


Fuente: ELABORACIÓN PROPIA DE DATOS DEL INE (DEFUNCIONES POR SUICIDIOS), EN STATISTA. 


El análisis de estas tendencias poblacionales no pretende 
silenciar o normalizar el dolor aniquilador e irreparable de 
cada historia personal que compone esta estadística. El obje- 
tivo es esbozar un retrato muy sumario de los colectivos vul- 
nerables y de los factores de riesgos que merece analizar. Este 
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análisis nos ayudará a tomar medidas de protección y a iden- 
tificar unas pautas de respuesta, tanto individuales como co- 
lectivas, y un correcto uso de la tecnología, superando la vi- 
sión patinada de la digitalización como algo intrínsecamente 
positivo. Este ejercicio pausado de reflexión nos puede ayu- 
dar a respetar tanto el principio de beneficencia, como el de 
no maleficencia. 


Ficura 11 
Suicidios en España en 2021 por edad y sexo. 
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Fuente: ELABORACIÓN PROPIA DE DATOS DEL INE (DEFUNCIONES POR SUICIDIOS). 


Espejo mágico en la pared, 
¿quién es la más bella de todas? 


En octubre de 2021, el The Wall Street fournal publicó unos 
informes de Facebook para uso interno en los que se revelaba 
que en 2012, cuando Facebook compró Instagram, se inves- 
tigó el efecto de la aplicación en la salud mental de los adoles- 
centes dentro de un programa llamado “inmersión profun- 
da”. Los informes apuntaban a que para muchos adolescentes 
y, en particular, para las chicas, Instagram era tóxico. Para 
seguir investigando en 2018, Facebook organizó grupos de 
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discusión y difundió una encuesta electrónica a 2500 adoles- 
centes de EE UU y de Reino Unido preguntando cosas del 
tipo: “¿Has tenido alguna vez pensamientos suicidas? Si lo 
hiciste, ¿el sentimiento comenzó en Instagram?>”. Entre los 
adolescentes que declararon tener pensamientos suicidas, el 
13% de los usuarios británicos y el 6% de los estadounidenses 
atribuían el deseo de suicidarse a Instagram. El efecto parecía 
ser más evidente entre las chicas que los chicos adolescentes; 
ellas declaraban más a menudo que Instagram les hacía sentir 
peor consigo mismas. Otro informe interno de 2019 incluye 
una frase en negrita y en letras mayúsculas: “Empeoramos los 
problemas de imagen corporal en una de cada tres adolescen- 
tes”. ¿Es así? Y si fuera verdad, ¿sería un problema grave que 
afectase a mucha gente? 

Para que nos hagamos una idea del impacto potencial 
del problema que podría existir, pensemos que en España, en 
enero de 2023, había 21,9 millones de usuarios de Instagram; 
de ellos, el 50% tenía entre 18 y 34 años y el 55% eran muje- 
res. Esta cifra coloca a España en la posición decimotercera, a 
nivel mundial, en términos de número de usuarios. Si pensa- 
mos que España tenía una población de 48 196 693 habitan- 
tes en ese momento, podemos estimar que el 45% de la pobla- 
ción ha usado o usa una aplicación cuya popularidad puede 
ser superada solamente por WhatsApp, pero no por Facebook, 
YouTube, Twitter (ahora X), Telegram o Spotify. En otras pa- 
labras, si existe algún problema, su magnitud no es irrisoria. 

Si este es el grado de penetración de Instagram, resulta 
altamente relevante saber si el uso de esta plataforma puede 
generar algún tipo de riesgo para sus usuarios. Resumimos a 
continuación los resultados de algunos estudios sobre el tema. 
Un estudio realizado en España en el que participaron 585 
usuarios de Instagram (36% mujeres), de entre 18 y 40 años, 
muestra que las personas que usan más la aplicación se sien- 
ten más insatisfechas con su cuerpo, comparan más frecuen- 
temente su aspecto físico con el de las demás y tienen baja 
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autoestima (Alfonso-Fuertes et al., 2023). En otros estudios 
realizados en EE UU se observan también efectos negativos 
del uso de Instagram entre las chicas afroamericanas más jó- 
venes (Jaidka, 2022). Para la mayoría de los adolescentes, los 
efectos negativos parecen ser manejables y pueden ser supe- 
rados por los positivos, como la autoexpresión y la posibilidad 
de relacionarse con sus amigos. Pero la investigación muestra 
que hay un subgrupo de usuarios, en particular chicas adoles- 
centes, que pueden ser más vulnerables: en el estudio realiza- 
do por Facebook en 2018, el 32% de las adolescentes dijo 
que, cuando se sentían mal con su cuerpo, Instagram les ha- 
cía sentirse peor. 


Figura 12 


Evolución del número de usuarios (en millones) de Facebook, 
Instagram, TikTok y Twitter en España (2017 y 2022). 
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Fuente: ELABORACIÓN PROPIA DE DATOS DEL DiGiTAL [MARKET OUTLOOK, DE STATISTA. 


Evidentemente, hay que tomar en cuenta múltiples fac- 
tores y rechazar cualquier explicación monocausal. Es decir, 
que antes de asustarse y correr a desinstalar la aplicación del 
móvil —o directamente apagar el móvil—, es mejor reflexio- 
nar y llegar por lo menos a leer este capítulo hasta el final. 
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Sobre todo si quien lee es un padre, una madre o un tutor, 
respiremos hondo y asimilemos gradualmente los contenidos 
de este capítulo. Seguimos entonces hablando de lo que ocu- 
rre en otras plataformas. 


Cambridge Analytica: 
democracia y microtargeting electoral 


En 1955, Isaac Asimov publicó el relato Sufragio universal. En 
él describe cómo la primera democracia electrónica utiliza el 
ordenador más avanzado del mundo (Multivac) para decidir el 
voto de toda una nación, con la intervención de un único votan- 
te humano. Dinamarca abrió el debate en sus últimas elecciones 
legislativas, a las que concurrió el Partido Sintético liderado por 
una IA, un chatbot llamado Leader Lars, con la aspiración de 
entrar en el Parlamento. Detrás del chatbot hay humanos, natu- 
ralmente, en particular la fundación MindFuture de arte y tec- 
nología. Leader Lars fue entrenado con los programas electora- 
les de partidos daneses marginales desde 1970 para configurar 
una propuesta que pudiera representar al 20% de la población 
danesa que no acude a las urnas (Gracia del Río, 2023). 

En el verano de 2016, los asesores de precampaña de 
Donald Trump contrataron una subsidiaria de SLC Group, 
llamada Cambridge Analytica, en el intento de influir en el 
resultado de las elecciones presidenciales de noviembre de 
ese año. Como se cuenta en el documental El gran hackeo”, el 
equipo de Cambridge Analytica empleó 87 millones perfiles 
robados de Facebook para llevar a cabo su estrategia de mar- 
keting electoral basada en microtargeting. Cambridge Analytica 
no solamente intervino en las elecciones presidenciales de 
EE UU; también jugó un papel en la campaña Leave EU pa- 
ra el referéndum de junio de 2016 sobre la salida de Reino 
Unido de la Unión Europea (Brexit). 


42. Puede verse en https: //www.netflix.com/es/title/830117542. 
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Fue Christopher Wylie, un exempleado de la empresa, 
quien, en mayo de 2017, gracias a la periodista Carole Cad- 
walladr, destapó lo que se considera uno de los mayores es- 
cándalos de privacidad de los últimos tiempos. El día 19 de 
marzo de 2018, el escándalo generó una pérdida en bolsa pa- 
ra Facebook de 37 000 millones de dólares. El 10 de abril de 
2018, Mark Zuckerberg, cofundador y director ejecutivo de 
Facebook, acudió al Congreso de EE UU para responder a 
preguntas sobre la relación de su empresa con la consultora 
Cambridge Analytica. Durante la audiencia pública, se habló 
del modelo de negocio de la red social más popular del mun- 
do y de la opacidad de los actores que operaban en la plata- 
forma. Zuckerberg no solamente se arrepintió de la colabora- 
ción con Cambridge Analytica, también lamentó que su 
empresa “tardara en identificar operaciones” rusas en los co- 
micios de 2016 y reconoció que empleados de Facebook ya 
habían colaborado con el fiscal especial Robert Mueller, el 
exdirector del FBI (en el periodo 2001-2013) encargado de 
investigar el caso. 

En febrero de 20183, Mueller acusó a tres empresas rusas 
(una de ellas conocida en ocasiones como la “fábrica de trolls 
rusa”) y a 13 ciudadanos rusos de interferir en los comicios 
presidenciales de EE UU. En el informe escrito por Mueller 
se habla de cómo la Internet Research Agency (IRA) explotó 
las redes sociales y las cuentas vinculadas a la agencia de inte- 
ligencia militar rusa (GRU) para hackear los ordenadores de 
los demócratas y lanzar una campaña para desacreditar a la 
candidata Hillary Clinton. La investigación sobre la implica- 
ción rusa en las elecciones presidenciales de EE UU se había 
iniciado mucho antes, en julio de 2016, después de que un 
diplomático extranjero informara al FBI —dirigido entonces 
por James Comey— de que un funcionario de la campaña de 
Trump conocía los ataques de los rusos contra los demócra- 
tas meses antes de que aparecieran los correos electrónicos 
robados desde la cuenta profesional de John Podesta, jefe de 
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campaña electoral de Hillary Clinton, en el sitio web de Wi- 
kiLeaks en octubre 2016. 

En 2019, la Comisión Federal de Comercio (FTC) im- 
puso una multa de 5000 millones de dólares a Facebook por 
violar la privacidad de los consumidores. El 24 de mayo de 
2022, el fiscal general de Washington DC demandó a Mark 
Zuckerberg alegando su participación directa en políticas 
empresariales que permitieron a Cambridge Analytica reco- 
pilar datos personales de votantes estadounidenses sin su co- 
nocimiento. En diciembre de 2022, Meta, dueña de Facebook, 
acordó pagar 725 millones de dólares para cerrar el procedi- 
miento iniciado en el distrito de California por la demanda 
colectiva sobre privacidad de datos más importante de la his- 
toria de EE UU hasta el momento. 


Interacciones (digitales) sociales significativas 


A principios de octubre de 2021, un grupo de reporteros 
de The Wall Street Ffournal publicó información interna de 
Facebook sobre un estudio de 2017 que mostraba que, a pe- 
sar de la cantidad de tiempo pasada en Facebook, los usuarios 
veían videos y se convertían en zombis que se quedaban sen- 
tados pasivamente mirando la aplicación, pero sin interactuar 
con ella. Para aumentar la participación, es decir, para que 
volvieran a publicar o comentar, la empresa modificó el algo- 
ritmo de recomendación en función de una nueva fórmula 
denominada internamente interacciones sociales significati- 
vas (meaningful social interactions o MSTD). MSTI era el grado de 
“interacción” de una publicación con personas cercanas a un 
usuario. Las interacciones eran cosas como comentarios, “me 
gusta”, “volver a compartir” o “emoticonos”. El algoritmo 
medía tanto las interacciones como la cercanía de las perso- 
nas que estaban interactuando. Al comienzo, la fórmula era 
relativamente sencilla: un “me gusta” valía un punto; una 
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reacción o un reencuentro valía cinco puntos; un comentario 
significativo valía 30 puntos. Y, luego, sumar o restar en fun- 
ción de la cercanía de las personas que comentaban o interac- 
túan, es decir, si se trataba de un grupo o de un amigo o de un 
extraño. MSI neutralizó el declive en el número de comenta- 
rios y aumentó la participación sin perder usuarios diarios. 

Como el indicador Downstream MSI trataba de prede- 
cir qué contenido tenía más probabilidades de ser compar- 
tido o comentado repetidamente y, a continuación, mostrar 
ese contenido a más usuarios, su uso puso de relieve que los 
contenidos realmente divisivos y escandalosos, en particular 
aquellos que provocan ira política, se iban a difundir más por- 
que eran los que recibían más comentarios. En octubre de 
2018, Jonah Peretti, el CEO de Buzzfeed, envió un correo 
electrónico a un alto ejecutivo de Facebook diciendo que MSI 
era básicamente un fracaso. Dijo: “Mira, hacemos todo este 
material de alta calidad sobre salvar animales o el autocuida- 
do que debería ser viral, pero no lo es. En lugar de eso, lo que 
se está volviendo viral son posts como este que hicimos llama- 
do “21 cosas que casi todos los blancos son culpables de de- 
cir”, que acumuló 13 000 “compartes” (reshares) y 16 000 co- 
mentarios en Facebook”. Las críticas en contra de Buzzfeed 
por haberlo publicado impulsaron la viralidad del post aún 
más. Este ejemplo era una demostración que MST estaba im- 
pulsando contenidos tóxicos y, entre ellos, desinformación. Y 
no solo eso, sino que, según los informes internos, cuantas 
más veces se compartía algo, más probable era que fuera fal- 
so. Ya en 2018 había estudios científicos que demostraban 
que la falsedad se difunde con mucha más rapidez, profundi- 
dad y amplitud que la verdad, y que los efectos son más pro- 
nunciados en el caso de noticias políticas falsas (Vosoughi, 
Roy y Aral, 2018). 

A preguntas sobre el impacto del cambio de algoritmo, 
un vicepresidente de Facebook dijo que cualquier algoritmo 
corre el riesgo de promover contenido objetable o dañino 
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para algunos usuarios. Para controlar la difusión de conteni- 
dos tóxicos o falsos, se creó el Equipo Cívico y de Integridad 
de Facebook. Entre las propuestas más radicales que avanzó 
el grupo, estaba la de eliminar por completo el botón para 
compartir. Otras soluciones —que Facebook tampoco deci- 
dió adoptar— incluían: la reducción del número de invitacio- 
nes de grupo que alguien puede enviar en un día (el límite 
actual es de 2250) o limitar el número de comentarios que 
alguien puede dejar (el límite actual es de 300 por hora). Los 
cambios no se adoptaron porque la compañía consideraba 
que perjudicarian la participación de los usuarios. 

Lo que los ejecutivos de Facebook no sabían era que to- 
dos los miembros del equipo habían suscrito un juramento 
cívico que incluía seis puntos, de los cuales el primero era: “1) 
ser altruista y servir primero a los intereses de la gente, no a 
los de Facebook”. Un mes después del resultado de las elec- 
ciones de 2020, el Equipo Cívico fue disuelto. Cinco semanas 
después, los partidarios de Donald Trump irrumpieron en el 
Capitolio de Estados Unidos, después de que algunos de ellos 
se organizaran en Facebook y utilizaran la plataforma para 
difundir la mentira de que las elecciones habían sido robadas. 

De los exempleados de Facebook pocos hablaron de la 
disolución del Equipo Cívico. El exjefe del equipo, Samidh 
Chakrabarti, en un hilo de tuits* explicó las razones de ese si- 
lencio: la amplificación por “Twitter de cualquier comentario en 
el que se criticara Facebook, el haber firmado estrictas cláusulas 
de confidencialidad y el miedo a no volver a encontrar trabajo 
en el sector tecnológico. Crecía mientras tanto la sensación de 
que Facebook no iba a adoptar medidas para frenar la difusión 
de información errónea que genera odio o sensacionalismo. 
Según Chakrabarti: “El reto es casi filosófico, uno que 
Facebook no puede resolver solo”. Estudios científicos recientes 
confirman las preocupaciones de Chakrabarti: tanto la amplifi- 
cación algorítmica (las “páginas” y los “grupos” de Facebook) 


43. (Asamidh, 5 de noviembre de 2021, en https://bitly.ws/VQd7. 


92 


como la social (el grado de interés en la política) contribuyen 
a aumentar la segregación ideológica y la polarización de la 
audiencia en Facebook (González-Bailón et al., 2023). 

El 5 de octubre de 2021, Frances Haugen, en un testi- 
monio demoledor ante el Subcomité del Senado para la Pro- 
tección de los Consumidores, la Seguridad de los Productos 
y la Seguridad de los Datos, dijo que la disolución del Equipo 
Cívico fue la última gota que le hizo ver lo necesario que era 
denunciar la situación y proceder con la filtración de datos 
internos más importante que haya vivido nunca Facebook en 
sus 17 años de historia. En 2022, tanto el estado de California 
como él de Washington aprobaron la “ley no más callados” 
(Silenced No More Act) para invalidar cualquier disposición 
contractual de no descrédito y no divulgación que impidiera 
a los empleados denunciar casos de discriminación, acoso, 
represalia, infracciones salariales y horarias o agresiones se- 
xuales. 

En esa lucha de derechos tanto laborales como digitales 
recordaremos a aquellas personas que han salido de su zona 
de confort y han actuado siguiendo su imperativo moral. 
Entre ellas hay héroes en lugares inesperados: los consejos de 
administración y los equipos directivos de otras empresas. En 
noviembre de 2019, la BBC publicó un reportaje** sobre la 
trata de mujeres en Kuwait vendidas a través de Facebook 
para la servidumbre doméstica, es decir, para trabajos forza- 
dos. En los documentos publicados por el The Wall Street 
Journal, se dice que cuando los ejecutivos de Apple vieron el 
reportaje se enfurecieron tanto que dieron el siguiente ultimá- 
tum: si Facebook no solucionaba este problema, iban a excluir 
a Facebook e Instagram del Itunes App Store. Mientras que el 
documental de la BBC no había sido percibido como muy pro- 
blemático por los ejecutivos de Facebook, la amenaza del equi- 
po de Apple fue una verdadera emergencia como retrata el in- 
forme interno “Apple Escalation on Domestic Servitude”. 


44. BBC (2019): Silicon Valley's Online Slave Market, en https://bitly.ws/VQea. 
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El Equipo Cívico había investigado varias redes de tráfi- 
co de personas activas en Facebook, como la que se denomi- 
nó Op Dubai. Se trataba de una red internacional de tráfico 
sexual dirigida desde Oriente Medio. La red utilizaba Face- 
book e Instagram para operar. Al realizar una búsqueda del 
hashtag Hbodytobodymassage (expresión que se utiliza habi- 
tualmente en Dubái para anunciar sexo disimulado, en forma 
de masajes), el equipo descubrió que los traficantes tenían 
más de cien cuentas de Facebook y gastaban mucho dinero 
en anuncios que podían enviar a hombres que estuvieran en 
ese momento en Dubái. Facebook cobró 152000 dólares 
por los anuncios comprados por esta red de tráfico de pros- 
titución. Los traficantes usaron más de un centenar de cuen- 
tas falsas de Facebook e Instagram para atraer mujeres de 
países limítrofes y engañarlas con promesas de trabajos bien 
remunerados en Dubái. Los traficantes utilizaban Facebook 
Messenger y WhatsApp para coordinar los viajes de las muje- 
res; una vez que llegaban a su destino, les retiraban el pasa- 
porte y les obligaban a trabajar como prostitutas. 

En las palabras de Frances Haugen: “Los directivos de 
Facebook saben cómo hacer que Facebook e Instagram sean 
más seguras, pero no harán los cambios necesarios porque 
han antepuesto sus inmensas ganancias antes que a las perso- 
nas. Es necesaria la acción del Estado. No van a resolver esta 
crisis sin la ayuda de todos”*, 


Deja de ser el producto de la economía de la vigilancia 


Cada vez que descargamos un juego o una aplicación en el 
móvil clicando las casillas de consentimiento de protección de 
datos y de términos de uso estamos participando en un true- 
que de datos. Confiamos en que alguien haya revisado dichos 


45. Frances Haugen, 4 de octubre de 2021, United States Senate Committee on 
Commerce, Science and Transportation. 
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términos y en que existan autoridades de control supervisan- 
do las actividades de las entidades que nos van a ofertar el 
servicio que queremos. Nuestra confianza puede basarse en 
el desconocimiento, en la creencia de que nuestros datos per- 
sonales no tienen mucho valor o en la percepción de ser parte 
de un grupo social que ocupa una posición de privilegio y 
poder dentro de la sociedad. “También juega un rol importan- 
te la familiaridad que tengamos con el dispositivo o la plata- 
forma digital que estemos usando, lo atractivo y usable que 
nos parezca ese juego o aplicación y el sesgo de inmediatez 
que tengamos y que nos haga percibir un nanosegundo de 
espera como una eternidad. Como bien muestra el documen- 
tal del año 2013 Términos y condiciones de uso**?, ha habido 
casos de términos de uso en los que se pedía a los usuarios 
intercambiar sus almas inmortales para poder jugar a un vi- 
deojuego. Por divertido que pueda sonar este ejemplo, nos 
sirve para aclarar que nadie lee los términos de uso o las polí- 
ticas de privacidad de los servicios digitales que todos usa- 
mos. Los pocos que lo hacen suelen ser activistas o investiga- 
dores en temas relacionados con el derecho y la ingeniería de 
la privacidad. Como se suele decir en cierto ciberespacio: 
confía, siempre y cuando lo hayas verificado antes. 

El ejemplo más famoso es probablemente el de Max 
Schrems, austriaco nacido en 1987, abogado y fundador de 
My Privacy is None of Your Business”. A él se debe el caso 
Schrems l, que llevó al Tribunal de Justicia de la Unión Europea 
el 6 de octubre de 2015 a invalidar el acuerdo Safe Harbor, que 
regulaba las transferencias de datos entre la UE y Estados 
Unidos, y el caso Schrems Il, por el que el 16 de julio de 2020 
el mismo tribunal invalidó la Decisión 2016/1250 de la Co- 
misión Europea llamada Escudo de la Privacidad, por la que a 
partir del 12 de julio de 2016 se había vuelto a permitir las 
transferencias de datos entre la UE y Estados Unidos. 


46. Puede consultarse en https: //www.imdb.com/title/tt2084953/. 
47. En https://noyb.eu/. 
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Todo artefacto nos invita a actuar 
de una forma o de otra 


La teoría de las affordances (que podríamos traducir como 
“ofrecimiento de acción potencial”) nos ayuda a entender có- 
mo todas y cada una de nosotras podemos influir, derrotar o 
cambiar el rumbo de la historia de la tecnología. Desde un 
enfoque ecológico a la psicología, el entorno en el que vivi- 
mos se compone de posibilidades de acción que pueden pro- 
mover o limitar determinados comportamientos (Withagen et 
al., 2012). Una vez que esta consideración se traslada al cam- 
po del diseño industrial, de la arquitectura y del diseño de 
redes y aplicaciones digitales, entramos en un mundo en el 
que el diseño influye en la sociedad y esta en el propio diseño. 
Más concretamente, podemos decir que el diseñador crea ob- 
jetos que invitan a las personas que interactúan con dichos 
objetos a que hagan determinados usos o cumplan determi- 
nadas acciones, así como el entorno natural contiene elemen- 
tos relevantes para la acción que se perciben inmediatamente: 
“Una fruta dice: “Cómeme”; el agua dice: “Bébeme”; el trueno 
dice: “Témeme”” (Koffka, 1935). En el entorno artificial de 
nuestras ciudades, el pomo dice: “Ábreme”, el sillón dice: 
“Siéntate”, el interruptor de la luz dice: “Enciéndeme”. Sin 
embargo, podemos responder a dicha invitación con un com- 
portamiento inesperado. Podemos usar la manilla para colgar 
el bolso, el sillón para apoyar la colada o levantar la persiana 
y dejar de usar el interruptor de la luz. 

El ingeniero de usabilidad Donald Norman (2013) sos- 
tiene que un buen diseño no es solo cuestión de estética, sino 
también de funcionalidad y facilidad de uso. En el entorno di- 
gital, la teoría de las affordances mos ayuda a analizar cómo 
determinadas opciones funcionales (features) de las aplicacio- 
nes digitales nos permiten satisfacer necesidades psicológicas 
como la identidad y la autoafirmación, la autonomía y la au- 
todeterminación, el sentimiento de pertenencia a un lugar, el 
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apego emocional a otras personas, la capacidad de saber re- 
solver eficazmente los retos que presenta nuestro entorno, 
etc. (Karahamna el al., 20183). Por ejemplo, la ubicuidad de 
videojuegos híbridos como Pokémon Go, que unen realidad 
aumentada y dispositivos móviles, puede elevar las posibilida- 
des de socialización más allá de lo que pretende la dinámica 
del juego (Puente Bienvenido el al., 2022). El diseño centrado 
en el ser humano promueve nuevas formas de cocreación 
(Sanders y Stappers, 2008) que permiten que los usuarios 
formen parte del equipo de diseño en calidad de “conocedo- 
res de sus experiencias” y que escriban ellos mismos sus his- 
torias de usuarios. Abrir el proceso de definición de un pro- 
ducto mediante cocreación es claramente costoso y requiere 
un esfuerzo para construir un dialogo entre personas con in- 
tereses y visiones epistémicas muy distantes. Sin embargo, 
dicha colaboración puede liberar un gran potencial creativo. 


¿Cuánto tiempo de pantalla? 


Niños y niñas mirando dibujos en el móvil durante una comi- 
da familiar en un restaurante o, en la tableta, mientras los 
padres teletrabajan. Desconocidos jugando en el metro con 
coloridos videojuegos en su móvil. Adolescentes con consolas 
de juegos profesionales jugando a oscuras desde sus dormito- 
rios con otros jugadores de los que desconocen la identidad. 
Jóvenes eligiendo en una aplicación alguien con quien salir y, si 
se da el caso, acostarse. Parejas reservando el restaurante al que 
ir a cenar. Y todo esto entre una búsqueda de piso o de trabajo, 
un mensaje, una foto, una actualización. Despeguemos un mo- 
mento la cara de la pantalla de nuestra cotidianidad y pensa- 
mos en la relación que tenemos con los dispositivos y servicios 
digitales para preguntarnos: ¿qué relación debería tener con la 
pantalla?, siendo la “pantalla” todo: tanto la superficie del dis- 
positivo (un móvil, una televisión o un ordenador) como las 
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aplicaciones y servicios a disposición (vídeos, videojuegos, 
videollamadas, etc.). 

La figura 13 intenta responder a la pregunta anterior 
aplicando un simple criterio: cuanto más jóvenes seamos, ma- 
yor será el tamaño de la pantalla. En la práctica, significa evi- 
tar por completo la pantalla en las edades más tempranas, así 
como los estímulos visuales a favor de estímulos sonoros (co- 
mo música o conversaciones cara a cara) o táctiles (libros 
sensoriales). Cuando ya sepamos andar y hablar podemos 
plantearnos comprar un proyector y ponerlo en el salón para 
que los niños (o nietos y abuelos) miren una película como en 
el cine —lugar en el que el control sobre el dispositivo lo tiene 
un operador, no todos los espectadores—. A partir de ahí se va 
aumentando gradualmente el control sobre (y la posibilidad de 
interacción con) el dispositivo. Con niños en edad escolar, ve- 
remos la televisión, pero sin ceder inmediatamente el mando. 
Los preadolescentes tendrán dispositivos que podrán manejar, 
pero que contarán con funciones limitadas o capadas. Y todo 
ello se desarrollará en espacios de interacción comunes, es de- 
cir, limitando el aislamiento y favoreciendo las experiencias 
compartidas. Hasta llegar a la edad (pseudo)adulta, en la que 
evidentemente necesitaremos un portátil para estudiar y traba- 
Jar, grupos de mensajerías para interactuar y una tableta para 
ver series para desconectar. Además, todas las veces que poda- 
mos, intentaremos dejar a un lado la vista —ama y reina del 
mundo digital— para volver a descubrir los demás sentidos 
atrofiados: audición, olfato, gusto y tacto. 

¿Por qué debería limitar o intentar controlar el uso de 
pantallas? Hay estudios que demuestran que reducir el uso 
recreativo de pantallas digitales mejora significativamente el 
bienestar y el estado de ánimo (Pedersen el al., 2022). Ade- 
más, todos (de todas las edades) estamos expuestos a riesgos 
cuya magnitud y alcance desconocemos. Según las señales 
preliminares que conocemos —y los poquísimos casos de los 
que hemos hablado en este capítulo—, parece prudente 
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adoptar algún principio de precaución: podemos empezar 
por limitar la exposición y dedicar más tiempo a mejorar 
nuestro conocimiento y control de la caja de Pandora que 
llevamos en la mano. La colección de fotografías titulada Re- 
moved** de Eric Pickersgill —en las que el fotógrafo eliminó 
con Photoshop los smartphones y dispositivos digitales de los re- 
tratos—, en un instante, permite esclarecer el efecto de las 
pantallas en nuestra vida cotidiana y desvelar la insensatez y 
la soledad que se normaliza cada vez que renunciamos a cru- 
zar miradas con otro ser humano de forma analógica. 


Figura 13 
Más pequeña yo, más grande la pantalla. 


Fuente: ELABORACIÓN PROPIA. 


Hemos dicho que no hemos hablado de muchas cosas. 
No hemos hablado en este capítulo del problema de la adic- 
ción de los usuarios a las redes sociales o del porno que entra 
no anunciado en la vida de nuestros niños y niñas y que de- 
clara con soberbia el divorcio del sexo con la afectividad 
(Marroquí, 2023). Prácticamente no hemos hablado de desin- 
formación, a pesar de lo mucho que hubiéramos podido de- 
cir. En fin, a pesar de que este capítulo hubiera podido ser un 
libro en sí mismo, concluimos invitando al lector a seguir in- 
vestigando estos temas para buscar aquellas aplicaciones y 


48. Véase en https: //www.removed.social/. 
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servicios de IA que de verdad están aportando algo en nues- 
tra vida —una sonrisa, una idea, una ayuda— y, paulatinamen- 
te, a abandonar aquellas otras que se colaron —ya no recor- 
damos cómo— y que ya era hora de desinstalar para cumplir 
con la obligación de cuidarse para poder cuidar. Y si nos sen- 
timos radicales, podemos seguir a Jaron Lanier (2018) en sus 
provocaciones y apagar unas horas el móvil simplemente pa- 
ra decirle al cuñado que ¡no pasa nada! 


FiGuRA 14 
Niños y niñas viendo la película en el salón. 


0) 


Fuente: ELABORACIÓN PROPIA. 


Para terminar 


El deseo de desarrollar una IA al servicio del bienestar de la 
humanidad impone elaborar una ética, es decir, unas normas 
de conducta que nos permitan diferenciar lo bueno de lo ma- 
lo y que favorezcan lo primero y limiten lo segundo. En este 
capítulo hemos intentado identificar alguna regla básica de 
conducta a partir de lo que hoy la ciencia nos dice sobre 
nuestra relación con esa digitalización que está (literalmente) 
en nuestras manos. 
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EPÍLOGO 
Aproximaciones desde el ámbito legal 
a los retos de la lA 


Concluimos entonces con algunas pinceladas de las reaccio- 
nes que los retos de la digitalización y de la IA están produ- 
ciendo en el ámbito legal. El marco normativo que regula la 
economía de los datos y de la IA está en constante evolución, 
así como el afán del legislador europeo de dar respuestas ju- 
rídicas a los muchos nuevos retos morales y sociales que la IA 
plantea cada día. 

La profesora de derecho y organizaciones internaciona- 
les Anu Bradford (2012) habla de “efecto Bruselas”, es de- 
cir, de la influencia mundial que ejerce la Unión Europea 
sobre las normativas mucho más allá de sus fronteras. La 
idea detrás del efecto Bruselas es que si la normativa incen- 
tiva la innovación y se difunde a escala mundial, puede crear 
oportunidades de exportación para el país pionero que se 
haya convertido en mercado líder por efecto de la normati- 
va. Una regulación estricta puede provocar entonces en el 
mercado carreras para alcanzar la cúspide (races to the top). 
Por ejemplo, los funcionarios de la Comisión Europea han 
expresado repetidamente su esperanza de que el Reglamento 
General de Protección de Datos desencadenara una oleada 
de innovación y tecnologías digitales respetuosas con la 
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privacidad construidas en Europa. En la misma dirección pare- 
cen apuntar varias de las iniciativas de las que hablaremos en 
este epílogo. 


Marco normativo de la lA en Europa, 
Estados Unidos y Canadá 


En la UE, el debate sobre la ética de la IA y sus consecuencias 
adversas ha promovido un debate en el ámbito jurídico que 
ha llevado a la redacción de nuevas leyes europeas. En su 
Resolución 2020/2012(INL) sobre un marco de aspectos 
éticos de la inteligencia artificial, la robótica y las tecnologías 
conexas, el Parlamento Europeo sugiere que la Comisión 
introduzca un reglamento “sobre los principios éticos para 
el desarrollo, despliegue y utilización de la inteligencia arti- 
ficial, la robótica y las tecnologías conexas”. Según la pro- 
puesta de la CE de una ley de inteligencia artificial*”, el uso 
de la TA, con sus características particulares (por ejemplo, la 
opacidad, la complejidad, la dependencia de datos, el com- 
portamiento autónomo), puede tener repercusiones negati- 
vas para múltiples derechos fundamentales consagrados en 
la Carta de los Derechos Fundamentales de la Unión 
Europea. Por eso, la ley propone prohibir: 1) los sistemas de 
TA que se sirvan de técnicas subliminales que trascienden la 
conciencia de una persona para alterar de manera sustancial 
su comportamiento, 2) que aprovechen alguna de las vulne- 
rabilidades de un grupo específico de personas debido a su 
edad o discapacidad física o mental; 3) la utilización de sis- 
temas de IA por parte de las autoridades públicas o en su 


49. Esta es la definición de sistema de inteligencia artificial: el software que se 
desarrolla empleando una o varias de las técnicas y estrategias que figuran en 
el anexo Í y que puede, para un conjunto determinado de objetivos definidos 
por seres humanos, generar información de salida como contenidos, prediccio- 
nes, recomendaciones o decisiones que influyan en los entornos con los que 
interactúa. 
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representación con el fin de evaluar o clasificar la fiabilidad 
de personas físicas durante un periodo determinado de 
tiempo, atendiendo a su conducta social o a características 
personales o de su personalidad conocidas o predichas; 4) el 
uso de sistemas de identificación biométrica remota “en 
tiempo real” en espacios de acceso público. A pesar del de- 
bate generado por el desarrollo de armas autónomas letales 
O killer robots, dicho tema queda fuera del ámbito de aplica- 
ción de la ley de IA. 

En Estados Unidos, la Oficina de Política Científica y 
Tecnológica de la Casa Blanca ha redactado un Anteproyecto 
de Carta de Derechos de la Inteligencia Artificial” que se 
aplica a sistemas automatizados que tienen el potencial de 
afectar significativamente a los derechos, oportunidades o 
acceso del público estadounidense a recursos o servicios crí- 
ticos. El marco normativo incluye cinco principios que de- 
ben guiar el diseño, uso e implantación de sistemas automa- 
tizados. Estos principios prevén: 


+ La seguridad y eficacia de los sistemas. 

+ La equidad de los sistemas y la protección contra la discri- 
minación algorítmica. 

+ La privacidad de los datos personales y el control por par- 
te de los afectados. 

+ La comprensión de los resultados del sistema por parte de 
los afectados. 

+ La posibilidad de prescindir del sistema o, cuando proce- 
da, de recurrir a personas que puedan estudiar y solucio- 
nar rápidamente los problemas que el sistema plantea. 


El Consejo Asesor sobre Inteligencia Artificial”! ase- 
sora al Gobierno de Canadá desde 2019. Dentro de sus 


50. The White House (2022): “Blueprint for an Al Bill of Rights. Making automa- 
ted systems work for the American people”, en https://bitly.ws/VVgC. 
51. Más información en https://bitly.ws/VVfS. 
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actividades, el Grupo de Trabajo sobre Concienciación 
Pública estudia mecanismos para fundamentar el debate 
canadiense en una comprensión mesurada de la tecnolo- 
gía de la TIA, sus usos potenciales y los riesgos asociados y 
así fomentar la confianza en la IA. El Grupo de Trabajo 
sobre Comercialización explora formas de traducir la inte- 
ligencia artificial de propiedad canadiense en un creci- 
miento económico que combine la productividad empre- 
sarial con los beneficios para los consumidores. 


Datos y mercado único digital europeo 


La Comisión Europea, en la línea de la estrategia europea de 
datos de febrero de 2020, pretende construir un espacio eu- 
ropeo común de información dentro del mercado único di- 
gital que permita el intercambio de datos entre el sector pú- 
blico y privado. La estrategia busca desarrollar un mercado 
único de datos que favorezca el acceso, el intercambio y la 
reutilización de estos respetando los valores de la Unión 
Europea y, en particular, la protección de los datos persona- 
les. Se inscribe en el contexto más amplio del plan de acción 
de la Comisión Europea para garantizar la soberanía digital 
de Europa de aquí a 2030, y es complementaria de la estra- 
tegia europea sobre inteligencia artificial. Dentro de este 
marco, encontramos la propuesta legislativa llamada Ley 
de Datos (Data Act) del 23 de febrero de 2022, que fomen- 
ta el intercambio de todo tipo de datos, personales y no per- 
sonales. El Consejo Europeo de Protección de Datos (EDPB) 
y el Supervisor Europeo de Protección de Datos (EDPS) 
han puesto de relieve potenciales dificultades operativas que 
podrían derivarse de la designación de más de una autorl- 
dad competente responsable de la aplicación y el cum- 
plimiento de la nueva ley. Para superar estas dificultades, pro- 
ponen que las agencias de protección de datos se consideren 
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autoridades competentes de coordinación de la ley en caso 
de aprobación”. 

Al fin de promover la economía basada en datos dentro 
de la UE, el Reglamento 2022/868 de la UE relativo a la 
gobernanza europea de datos, en vigor desde mayo de 
2022, promueve la reutilización de datos actualmente pro- 
tegidos por razones de confidencialidad estadística o co- 
mercial o por ser estos personales o propiedad intelectual 
de terceros en poder de organismos del sector público. 
Dentro de este marco se fomenta el recurso a asistencia 
técnica y jurídica que facilite la reutilización de estas cate- 
gorías protegidas de datos y se pide la certificación obliga- 
toria de los proveedores de servicios de intermediación de 
datos y la certificación opcional para las organizaciones 
que practican el “altruismo de datos”. A partir de septiem- 
bre de 2023, el Comité Europeo de innovación en materia 
de datos trabaja con el Centro de Apoyo al Espacio de 
Datos (DSSC) en la implementación de dicho reglamento. 
De forma similar, la Directiva (UE) 2019/1024 (traspuesta 
en España por el Real Decreto-ley 24/2021 que modifica la 
Ley 37/2007 sobre reutilización de la información del sec- 
tor público) crea el Comité para los datos abiertos y la re- 
utilización de la información del sector público*?, que ayu- 
dará a identificar aquellas bases de datos de alto valor (por 
ejemplo, registros mercantiles, datos estadísticos demográ- 
ficos y económicos, datos meteorológicos, ambientales y 
geoespaciales, etc.) cuya publicación y puesta a disposi- 
ción a través de API será obligatoria. En España, la Ley 
19/2013, de 9 de diciembre, de transparencia, acceso a la 
información pública y buen gobierno ya incluía el derecho de 
acceso a la información pública; sin embargo, el amplio 


52. EDPB (2022): “EDPB-EDPS Joint Opinion 2/2022 on the Proposal of the 
European Parliament and of the Council on harmonised rules on fair access to 
and use of data (Data Act)”. 

53. C51600: Committee on open data and the re-use of public sector informa- 
tion. DG: CNECT - Communications Networks, Content and Technology. 
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abanico de limitaciones incluidas en el art. 14 limita bas- 
tante su eficacia y demandaría una reformulación para en- 
frentarse a los retos de la era digital. 


La lA y le futuro del trabajo 


Otro aspecto que merece subrayar es el efecto de la automa- 
tización sobre la normativa laboral. Genera preocupaciones 
el desempleo, ya que los sistemas autónomos amenazan con 
sustituir a millones de conductores de camiones y dejar ob- 
soletos a Lyft y Uber. La antropóloga Mary L. Gray y el 
informático Siddharth Suri, además, desvelan que los servi- 
cios que utilizamos de empresas como Amazon, Google, 
Microsoft y Uber solo pueden funcionar sin problemas gra- 
cias al criterio y la experiencia de una extensa mano de obra 
humana que se mantiene deliberadamente oculta. Las per- 
sonas que realizan el “trabajo fantasma” hacen que estas 
tecnologías parezcan inteligentes: señalan contenidos clasifi- 
cados, corrigen textos, transcriben audio, confirman identi- 
dades, subtitulan vídeos y mucho más. Se trata, en gran me- 
dida, de trabajos mal remunerados que las grandes empresas 
tecnológicas prefieren externalizar. Los pocos puestos de 
trabajo con altos salarios que la IA genera no compensan las 
pérdidas causadas por la transformación de los muchos sec- 
tores que van sustituyendo personal por sistemas automati- 
zados. 

En este sentido, el cierre masivo de sucursales bancarias 
en España entre 2008 y 2021, causado tanto por la crisis finan- 
ciera como por la transición a la gestión puramente digital, ha 
supuesto un recorte del 40% de los puestos de trabajo (Con- 
treras, 2022). La disponibilidad de aplicaciones de IA genera- 
tiva que permiten sustituir el trabajo de diseño de arquitectos 
o el de redacción de los periodistas suscita preocupaciones 
fundadas. Para frenar estas tendencias, es fundamental que la 
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TIA acompañe y no sustituya a los trabajadores, a los profesio- 
nales o a los mismos programadores. 


Algoritmos y discriminación 


El creciente uso de algoritmos para automatizar la toma de 
decisiones ha suscitado una profunda preocupación por el 
hecho de que estas aplicaciones automatizadas pueden pro- 
ducir resultados discriminatorios. Sin embargo, es impor- 
tante empezar conociendo el marco jurídico actual antes de 
correr a plantear nuevos desarrollos legales y, por ello, es pre- 
ciso mencionar algunos ejemplos de protecciones legales con- 
tra la discriminación por temas de género o raza ya en vigor 
en la Unión Europea: la Directiva 2000/43/CE del Consejo, 
de 29 de junio, relativa a la aplicación del principio de igual- 
dad de trato de las personas independientemente de su origen 
racial o étnico; la Directiva 2000/78/CE del Consejo, de 27 de 
noviembre, relativa al establecimiento de un marco general 
para la igualdad de trato en asuntos de empleo y ocupación; 
la Directiva 2004/113/CE del Consejo, de 13 de diciembre, 
por la que se aplica el principio de igualdad de trato entre 
mujeres y hombres en el acceso a bienes y servicios y su su- 
ministro; la Directiva 2006/54/CE del Parlamento Europeo y 
del Consejo, de 5 de julio, relativa a la aplicación del principio 
de igualdad de oportunidades e igualdad de trato entre hom- 
bres y mujeres en materia de trabajo y empleo; la Directiva 
2012/29/UE del Parlamento Europeo y del Consejo, de 25 de 
octubre, por la que se establecen normas mínimas sobre los 
derechos, el apoyo y la protección de las víctimas de delitos. 

En Estados Unidos, el intento de monopolio de American 
Airlinesó* mediante la manipulación del sistema informáticos 


54, Antitrust Division (1983): U.S. v. American Airlines Inc. and Robert L. 
Crandall. U.S. Department of Justice, en https://bitly.ws/WdUL. 
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de reservas de vuelos llamado SABRE* propició lo que se 
considera el primer ejemplo de normativa de transparencia 
contra el sesgo algorítmico. Esas normas de transparencia exi- 
gen que “cada sistema [de reservas de líneas aéreas] pro- 
porcionará a cualquier persona que lo solicite los criterios 
actuales utilizados en la edición y ordenación de vuelos 
para las pantallas integradas, así como la ponderación otor- 
gada a cada criterio y las especificaciones utilizadas por los 
programadores del sistema en la construcción del algorit- 
mo”*%, Esta disposición nos recuerda las obligaciones de 
transparencia contenidas en el artículo 22 del RGPD. 


Acoso y ciberdelincuencia 


En España, los artículos 197 bis y ter del Código Penal regu- 
lan la ciberdelincuencia, específicamente el acceso o utiliza- 
ción sin autorización de un sistema informático (o parte de 
este) o el acceso a los datos informáticos que lo conformen, 
por lo que se imponen penas de prisión de entre seis meses y 
dos años. Al mismo tiempo, el artículo 197.7 del Código 
Penal sobre el delito de revelación de secretos aborda aquellos 
casos en los que la víctima ha compartido ciertas imágenes o 
grabaciones —en un ámbito estrictamente personal— y esos 
contenidos se divulgan contra su voluntad y ocasionan una 
especial afectación de la intimidad personal del sujeto pasivo. 
Este delito se castiga con la entrada a prisión de tres meses a 
un año. La Agencia Española de Protección de Datos (AEPD) 
cuenta con un canal prioritario?” para comunicar la difusión de 
contenido sensible y solicitar su retirada. Además, la mayoría 
de las redes sociales y de los servicios digitales ofrecen posibi- 
lidades para la remoción de contenidos no deseados. INCIBE 


55. Entorno semiautomático de investigación empresarial. 
56. US DOT (1984), en https://bitly.ws/We7K. 
57. Véase https://bitly.ws/VQgm. 
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cuenta con “Tu Ayuda en Ciberseguridad”* (teléfono gratuito 
017, WhatsApp 900 116 117 o'Telegram (WINCIBEO0O17). 


La evaluación ambiental de la digitalización 


A la materialidad de la IA, hecha de hardware, micropro- 
cesadores, transistores, cables, metales raros, chatarra y 
problemas de mantenimiento, dedicamos un momento de 
reflexión. La materialidad de la IA tiene un impacto econó- 
mico, ambiental y social notablemente invisibilizado. De 
hecho, aún no se habla de legislar el impacto medioam- 
biental de la digitalización. Sin embargo, existen efectos 
medioambientales que derivan tanto del despliegue de los 
servidores y microprocesadores —que permiten a la IA 
existir— como de las muchas aplicaciones que tienen in- 
crustado algún componente de IA. Por ejemplo, la compu- 
tación en el borde (edge computing) de los datos generada 
por el internet de las cosas (¿nternet-of-things o lo'T), es decir, 
por objetos o sensores conectados en red y capaces de inter- 
cambiar información, es cada vez más común (Ashton, 2009). 
El loT —inicialmente inventado para referirse al creciente 
uso de sistemas de identificación por radiofrecuencia (RFID) 
en las cadenas de suministros— se utiliza hoy en día tanto 
para hablar de industria 4.0 como de ciudades y casas inte- 
ligentes (smart cities o smart homes). El loT y el 5G* prome- 
ten generar un entorno informativo omnipresente que con- 
tribuirá ulteriormente a colonizar y a expropiar el entorno 
natural, es decir, el hábitat de otras especies animales que 
no sean la humana. 


58. Puede consultarse en https://bitly.ws/VVuv. 
59. El término 5G se refiere a la quinta generación de redes móviles y representa 
mejoras en el ancho de banda y en la latencia. 
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Para terminar 


Amy Webb (2019) plantea la siguiente cuestión: ¿qué sucede 
con la sociedad cuando transferimos el poder a un sistema, 
diseñado y construido por un pequeño grupo de personas, 
que toma decisiones para todos? Creemos que Christian 
Sandvig et al. (2014) responden a esta pregunta a la hora de 
intentar resumir la defensa del presidente de American 
Airlines, Robert L. Crandall, frente al Senado de Estados 
Unidos de este modo: ¿por qué construir y operar un algorit- 
mo caro si no puedes sesgarlo a tu favor? 

Un célebre artículo publicado ya lo había expresado: 
“Las tecnologías más destacadas son las que desaparecen” 
(Weiser, 1991: 94), es decir, las que entran a formar parte de 
nuestra vida hasta tal punto de dejar de notarlas a pesar de 
determinar nuestra forma de vivir. A veces con la tecnología 
entra también la reproducción de dinámicas sociales y de po- 
der que creíamos haber dejado atrás hace un siglo. 

"Terminamos, entonces, este libro con una pregunta: ¿an- 
tes de empatizar con los androides no sería oportuno empati- 
zar con los demás seres vivos que tenemos alrededor y cuya 
vida (y calidad de vida) depende tanto de nuestras decisio- 
nes? Saber que, aún en 2022, según Naciones Unidas, unos 
50 millones de personas vivían en condiciones de esclavitud 
moderna —28 millones en trabajos forzados y 22 millones en 
matrimonios forzosos—, puede ayudarnos a entender por 
qué algunos académicos consideran el debate sobre la auto- 
nomía de la IA un espejismo o un ejercicio de narcicismo tí- 
pico del primer mundo. 

Si el bienestar de la humanidad es lo que nos preocupa, 
los impactos negativos que surgen de los sistemas artificiales, 
así como la falta de asunción de responsabilidades por parte 
de las personas que venden y compran dichas máquinas, si- 
gue siendo el debate ético más urgente de la IA (Birhane y 
Van Dijk, 2020). 
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dad, desde lo laboral hasta lo más íntimo y personal, es un 
proceso diario tan normalizado que rara vez nos paramos a 
pensar en las implicaciones sociales —y morales— que la digi- 
talización conlleva, y más en las nuevas generaciones. Todos 
tenemos móviles inteligentes, pero casi no conocemos las tec- 
nologías que los hacen posibles, el big data y la inteligencia ar- 
tificial, ni que los datos que se van almacenando pueden po- 
nernos en peligro. 

El debate sobre los riesgos de la lA y sobre cómo desarrollar 
una para el bienestar de la humanidad se centra también en 
temas relacionados con la discriminación de género y de raza, 
desigualdad, pobreza, crimen y segregación social, que reapa- 
recen en forma de inesperados sesgos algorítmicos. Este libro 
es un intento de presentar dicho debate, para lo que se em- 
plearán ejemplos concretos que permitan entender el tipo de 
aplicaciones más comunes, su funcionamiento y sus implica- 
ciones, así como los riesgos y las oportunidades. 
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